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1 Introduction 

Tj- . Le but de ce chapitre est l'étude d'un problème de contrôle impulsionnel appliqué à 

^ ! la gestion du choix de technologie d'une entreprise (voir par exemple A. Bensoussan 

QQ I et J.L. Lions [6]). Nous supposons que l'entreprise décide à certains instants de 

O ■ changer de technologie et de valeur de la firme (par exemple une recapitalisation). 

^ ' Les instants d'impulsion, le choix de la nouvelle technologie et la loi des sauts sont 

^ . des variables de décision, dont l'ensemble est appelé un contrôle impulsionnel. Plus 

O ! précisément, nous avons la suite croissante (r„)„ des instants d'impulsions de limite 

notée r, la technologie (n+i choisie à l'instant r„ et A„ la taille du saut du log de 
la valeur de la firme à l'instant Tn- La loi conditionnelle du couple (Cn+i)^n) ne 
^ ' dépend que de l'état du système en r~. On appelle contrôle impulsionnel la donnée 

■ de tous ces paramètres, soit la stratégie notée a = (r„, Cn+i, A„, n > — 1). 

En appelant le processus égal à Cn+i sur [r„, Tn+i[ et Y est le processus représen- 
tant le log de la valeur de la firme. Le bénéfice net de la firme est représenté par la 
fonction / et le coût de changement de technologie est représenté par la fonction c. 
Par suite, toute stratégie a occasionne un gain: 

r+oo 

k{a)= e-^^f{^s,Y,)ds- ^ e-'^-c(Cn, > Cn+i, ^J, (1) 
OÙ > est un coefficient d'actualisation. 

Notre principale contribution est de prouver l'existence et fournir une caractéri- 
sation d'une stratégie optimale a qui maximise la fonction gain de la firme. 
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Les outils mathématiques qui sont à la base d'une telle étude ont été initiés par 

A. Bensoussan et J.L. Lions [6] et ensuite formalisés par d'autres auteurs. Par ex- 
emple, K.A. Brekke et B. 0ksendal étudient un problème de départ et d'arrêt. Le 
principal résultat de leur papier jH] est de trouver une suite d'arrêt optimale du 
temps de départ et d'arrêt d'un processus de production. Ils résolvent ce genre de 
problème en utilisant le calcul stochastique. 

B. Bruder et H. Pham considèrent un problème de contrôle impulsionnel en horizon 
fini pour les diffusions avec un décalage de décision et des délais d'exécution. Ces 
auteurs montrent que la fonction de valeur pour ce genre de problème satisfait une 
version adaptée du principe de programmation dynamique et ils fournissent un al- 
gorithme pour trouver la stratégie optimale. 

J.P. Lepeltier et B. Marchai utilisent dans [27] une technique purement proba- 
biliste pour la résolution du problème de contrôle impulsionnel. L'outil de base 
est la théorie générale du contrôle de C. Striebel qui permet d'obtenir un critère 
d'optimalité performant. 

Nous mentionnons également B. Djehiche et al. [15] et M. Jeanblanc-S. Hamadène 
|21] qui ont utilisé des outils purement probabilistes comme l'enveloppe de Snell 
et les équations différentielles stochastiques rétrogrades pour résoudre le problème 
optimal de changement de technologie en horizon fini. 

Dans l'article de P. A. Meyer [29], la valeur de la firme est modélisée suivant un mod- 
èle canonique. La construction du problème de contrôle est fondée sur la théorie 
de la renaissance des processus de Markov. Avant la première impulsion, la loi du 
système est celle d'un processus de Markov tué au moment de cette impulsion. Puis 
après l'impulsion, on le fait renaître suivant une nouvelle loi de processus de Markov 
à l'aide d'une probabilité de transition. 

M. H. A Davis a étudié dans [13] un problème de contrôle optimal déterministe. Il a 
introduit une simple formulation du principe de la programmation dynamique des 
processus de Markov déterministes par morceaux (PMDP) qui aident à résoudre ce 
type de problème. 

M. Robin a abordé dans sa thèse [2B] un type de problème de contrôle impulsionnel 
avec retard déterministe, c'est à dire qu'aucune décision ne peut être prise avant 
l'effet de la dernière décision. Il a établi des résultats sur les problèmes des temps 
d'arrêt optimaux essentiellement pour les processus de Markov fellériens. Le résul- 
tat fondamental de cette thèse est la propriété de continuité de la fonction valeur 
obtenue par des techniques de pénalisation. 

G. Mazziotto et J. Szpirglas [28] ont étudié le contrôle impulsionnel de systèmes 
stochastiques en information incomplète selon des méthodes développées essentielle- 
ment dans le cadre de la théorie du filtrage non linéaire. Leur principal résultat est 
un théorème de séparation du contrôle et du filtrage dans une situation de gestion 
de stock partiellement observée. Ce résultat a été obtenu en étendant la méthode 
de M. Robin [3H] et en utilisant des théorèmes de sélection |33| . 
Une approche différente est utilisée pour la résolution de ce type de problème: le 
problème d'optimisation est formulé comme un problème parabolique de contrôle 
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impulsionnel avec trois variables liées à la fonction coût, la technologie choisie et la 
valeur de la firme (méthode utilisée par H. Pham, M. Mnif et V. Vath |36]). Cette 
résolution est associée au principe de programmation dynamique des inéquations 
quasi-variationnelles de Hamilton-Jacobi-Bellman. 

Dans le même contexte, nous citons [H [21 |3l] qui caractérisent la fonction de 
valeur comme l'unique solution de viscosité des inéquations quasi-variationnelles 
de Hamilton-Jacobi-Bellman. 

Le problème de contrôle impulsionnel a été étudié par J.P. Lepeltier et B. Mar- 
chai |25| [26]. Néanmoins, leurs résultats ne s'appliquent pas aux situations qui nous 
intéressent, car nous construisons un modèle trajectoriel alors que ces deux auteurs 
définissent un modèle en loi. Par ailleurs, alors que ces deux auteurs minimisent une 
fonction uniquement de coût (leur coût peut être défini en ([T]) par une somme au 
lieu d'une différence), nous cherchons à optimiser une fonction gain - coût. Ainsi, 
nous ne considérons pas que la firme pourrait disparaître: la meilleure stratégie 
après la limite du temps r est de continuer, en gardant la même technologie, au 
lieu d'aller à la faillite. De plus, en utilisant des propriétés de Markov et des rela- 
tions de récurrence (proposition 13.18]) . nous détaillons les preuves et nous présentons 
une forme constructive du contrôle impulsionnel. En fait, nous utilisons un carac- 
tère markovien et homogène entre deux instants d'impulsion pour établir un critère 
d'optimalité (théorème 13.29p . 

Notre modèle est inspiré de [25| [26] et peut être décrit comme suit. A chaque 
temps d'impulsion, on choisit une nouvelle technologie afin d'améliorer le profit de 
la firme. En utilisant la théorie des processus de Markov, nous prouvons l'existence 
d'une stratégie optimale qui maximise la fonction valeur. Au lieu de la construction 
canonique étudié dans [251 [26], nous choisissons une approche markovienne qui per- 
met des expressions plus explicites. D'ailleurs, nous retrouvons les résultats de J.P. 
Lepeltier et B. Marchai à l'aide d'outils différents: au lieu de la théorie générale du 
contrôle impulsionnel, nous donnons une forme constructive de l'évolution du sys- 
tème impulsé. Ensuite, nous introduisons la définition 12.111 qui restreint l'ensemble 
des stratégies. En effet, nous imposons deux propriétés définissant une stratégie 
admissible: la première assure l'intégrabilité des fonctions / et c et la deuxième 
suppose que la loi entre deux sauts est donnée par la loi du couple initial (temps de 
saut, processus d'état sur ce premier intervalle). 

Dans ce chapitre nous nous plaçons sous trois hypothèses: des conditions de compac- 
ité sur l'ensemble des noyaux de transition et ses sections (hypothèses 1 et 3) et des 
propriétés de continuité concernant les lois de (tq, (i, F)l[o,ro[) sachant la condition 
initiale (z, x), les fonctions de gain et de coût et les noyaux de transition (hypothèse 
2). Nos trois hypothèses remplacent les sept hypothèses introduites par J.P. Lep- 
eltier et B. Marchai [25] . 

Notre travail est organisé comme suit: la section 2 est consacrée à définir le modèle 
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correspondant au problème de contrôle impulsionnel ainsi que les filtrations asso- 
ciées. Dans la section 3, nous établissons un critère d'optimalité. Nous énonçons 
tout d'abord le principe de programmation dynamique à l'aide du gain maximal 
conditionnel après un temps d'arrêt 9. Ensuite, par des techniques markoviennes, 
nous établissons un lien entre le gain maximal conditionnel après 6 et la fonction 
valeur de la firme ce qui nous permet de déduire un critère d'optimalité dépendant 
de cette fonction. Dans la section 4, nous définissons une stratégie qui maximise la 
fonction valeur de la firme et qui réalise l'optimalité conditionnelle et nous donnons 
un exemple qui vérifie les hypothèses requises. Nous terminons ce chapitre (section 
[5]) par une comparaison entre les hypothèses et définitions que nous utilisons ici et 
celles introduites par J.P. Lepeltier et B. Marchai |25l [26] . 

2 Modélisation 

Soit J-", {J^t)t>Oi P) un espace de probabilité muni d'une filtration {J^t)t>o complète 
continue à droite et soit un mouvement brownien W = {Wt)t>o- Nous noterons par 
{Gt)t>o la filtration définie par Gt = ^s<tJ^s, V s < t, (elle est notée usuellement J-t-). 

Un contrôle impulsionnel consiste en une succession de changements d'état à (ri)i>_i, 
où r_i = 0, suite croissante de ^-temps d'arrêt de limite notée r. Nous considérons 
les suites de temps d'arrêt vérifiant la propriété suivante: Soit 

N{uj) = m{{n : r„+i(a;) = T„(a;)}, alors sur {N < +oo}, Tk+i{uj) = Tk{uj) \/k > N{uj). 

(2) 

La suite (t„) est strictement croissante sur l'événement complémentaire {A^ = +oo}. 
Proposition 2.1. Le temps rjv est un Ç-temps d'arrêt. 
Preuve: Soit 

Wh <t} = \J{Nico) = k}n {niu) < t} 

k 

= |J{Tfc+i(w) = rfc(w)} n {Vj < k,Tj+i{uj) < Tj{uj)} n {Tk{uj) < t}. 
k 

Du fait que les instants sont des Ç-temps d'arrêt, nous aurons {Tk{uj) ^ t} £ Çt et 

{Tk+l{uj) = rfc(w)} n {Vj < /c,Tj + l(w) < Tj{uj)} G Gr^. 

Par conséquent, {r7v(a;) 1^ t} £ Gt- ■ 

Soit U l'ensemble fini des technologies possibles et V{U) la tribu triviale. Nous intro- 
duisons le processus càdlàg £^ à valeurs dans U: 

Ù = Çol[0,To[(*) + X]Cn+ll[r„,T„+i[(*) + Çr-l[T,+oo[(i)- (3) 
n>0 

Pour tout n € N, Cn+i la technologie choisie à l'instant t„, est une variable aléatoire 
Gr -mesurable. 
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Proposition 2.2. Le processus Ç est Q -adapté. 

Preuve: Les instants r„ sont des Ç-temps d'arrêt. Alors, {r„ < t} G Gt, et puisque Cn+i 
est Çt-„- mesurable, ^^[(t) est Gt- mesurable. De plus, par stabilité des tribus par 

passage au complémentaire nous avons {t„-|_i > t} G Gt- D'où Ij^^^^^^^}. est Gt- mesurable. 
Ainsi est t/^-mesurable comme somme de variables Çt-mesurables. Par conséquent, le 
processus Ç est Ç-adapté. ■ 

La valeur de la firme entre deux instants d'impulsions du système est donnée par 
St = exp Yj, t > 0, où Y est le processus continu à droite défini par: 

y* = X + V A„ + / ms^Ys) ds + a{^s,Ys) dWs) + l[,,+oo[(i), (4) 

n>0 

où A.„, taille du saut du log de la valeur de la firme à l'instant r„, est une variable aléatoire 
réelle Çt-„ -mesurable et b : U xM— s-Metcrif/ xM— M'^ sont deux fonctions mesurables 
satisfaisant les conditions de Lipschitz et de croissance sous-linéaire: 

- Il existe une constante K >0 tels que pour tout i £ U et tout x, y G M: 

\b{i,x) - b{i,y)\ + \a{i,x) - a{i,y)\ < K\x - y\. (5) 

- Il existe une constante K > tels que pour tout i £ U et tout x G M: 

\b{i,x)f + \a{i,x)f < K^{1 + \x\^). (6) 

Proposition 2.3. Sous les conditions ^ et il existe un unique processus G-adaptéY 
solution forte de l'EDS 

Preuve: Pour tout {uj,t) G M"*" x ^l, il existe un processus Y^ où l'EDS associée peut être 
écrite sous la forme suivante: 

dY,\oj) = biU^),Yl'{oj))dt + a{U^), Yl>{u;))dWt, 

où b et a vérifient les conditions ([5]) et ([6]). Donc on peut appliquer les théorèmes 2.5 (pp. 
287 ) et 2.9 (pp. 289 ) de Karatzas et Shreve |22| : il existe une unique solution forte Y^ 
donnée par 

Yl^iu) = Y^^iu) + f {bMu),Y^{,o))ds + aM^),Y^{,o))dWs) . 
Jo 

De plus, le processus Y-^ est Çt-mesurable (voir \2A\ p. 58] et |20)). En particulier, pour 
tout {uj,t) G X Q et t = Tq , nous obtenons: 

y°_(^) = Y,'{u) + r (6(Ço(u;),i;°(a;))ds + (7(Ço(u;),i;°(a;))dty,) , 

et nous définissons 

y,0(a;) = yO-(a;) + Ao. 
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La taille du saut Aq est t/T-o-™esurable. Par suite, le processus 1^ est aussi t/^-o -mesurable 



Ce processus restreint à l'ensemble {{uj,t) : t < tq{uj)} est bien Ç-adapté et il est 
l'unique solution forte de l'EDS restreinte à {{u},t) : t < tq{uj)}. 

Supposons que le processus Y défini ci-dessous sur {{uj,t) : t < r„(tj)} est bien Q- 
adapté et qu'il est l'unique solution forte de l'EDS restreinte à {{uj,t) : t < r„(a;)}: 

Yt{uj) = V Afc+ [\b{U^),Ys{u))ds + a{U^),Ys{u))dWs). (7) 

On considère alors sur l'ensemble {(tj, i); r„(a;) <t< T„+i(a;)}, l'unique solution forte Y^ 
de l'équation différentielle stochastique : 

dY,^ = b{Cn+i,Yndt + a{Cn+i,YndWp 

OÙ est un mouvement brownien indépendant de la filtration (-7v„)n>o- L'unicité du pro- 
cessus y" vient du fait que les fonctions 6 et o" vérifient les hypothèses assurant l'existence 
et l'unicité (voir |22| et |35|). Du fait de l'hypothèse de récurrence ([7]) cette solution est 
également Ç-adaptée. Définissons alors sur l'ensemble {{uj,t)]Tn{uj) < t < 7:„-|_i(a;)} le 
processus 

Yt{u) ■.= Y,%M^ 
où y" est solution de l'EDS ([8]), ce qui montre que sur cet ensemble: 

Yt{uj) = y,„H + f {b{U^),Y,{u))ds + a{U^),Ys{u:))dW,) , 

et que Y ainsi construit est également Ç-adapté. 

D'où l'hypothèse de récurrence est vérifiée pour tout n. H 

Remarque 2.4. La filtration G étant une sous- filtration de T ^ les processus Ç^etY sont 
aussi -adaptés. 

Proposition 2.5. Désignons par {Clsyt^s^t ^ O) la filtration {Çt,t > 0) rendue continue 
à droite. Elle vérifie l'égalité suivante: 

s>t 

Preuve: D'une part, Gt étant une sous-tribu de J^f, Gt C J-f. D'où [^^^^Gs C {^^^^J-s- 
La filtration T étant continue à droite, 



s>t 



Ainsi, OgyfGs C J-t- D'autre part. 



s>t s>t 
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Nous avons, Vs > t, Çg = yu<s^u- Par conséquent, 

c Vu<s-F„ = Gs-, ys>t. 

Ce qui entraîne l'inclusion inverse et par suite l'égalité Ç\g^tQs = ^t- ■ 

Définition 2.6. Un contrôle impulsionnel est la donnée d'une suite a: 

a = (Tn, Cn+1, A„, n > -1), 

où (t„)„>_i est une suite croissante de Q -temps d'arrêt de limite notée r et vérifiant r_i = 
0, Cn+i ^st la technologie choisie à l'instant r„, v.a. -mesurable et A„ = IÇ^ — y_- est 
la taille du saut à l'instant Tn et vérifiant A_i = 0, v.a. Qt,^ -mesurable, de telle sorte que 
la loi du couple (Cn+ij A„) sachant Qr^ ne dépend que de l'état du système en t~ et que la 
probabilité de transition r définie sur U x R par 

^(Cn+i = j, Yr„=x + dy\Cn = i, Y^^ =x) = r{i, x; j, dy), (9) 

est indépendante de n. 

On introduit l'ensemble M de ces noyaux de transition sur {U x M,V{U) (g) B^) satis- 
faisant V(i,x), £ ^{i,x) où est la mesure de Dirac en {i,x) et M(j ,j,) la section 
en (i, x) de M définie comme suit: 

M^i^^) = {r{i,x;.,.),r e M}. (10) 

On réduit l'ensemble des contrôles en supposant que les lois de passage r sont indépendantes 
de n. Ainsi, la famille des lois markoviennes est stationnaire. 

Pour tout (i,x), l'ensemble M^^i^^-^ est muni de la topologie faible i la suite (r^(i,x5 
converge vers r(i,x; .) si et seulement si pour toute fonction continue bornée g sur {/ x R, 

{rn{i,x; g))n converge vers r{i,x;g) sur M. (11) 

Remarque 2.7. 1. L'ensemble M(j,^) est métrisable pour la topologie faible définie ci- 
dessus (cf. Appendix 3 dans JT^). 

2. M(j .J.) étant inclus dans l'ensemble des probabilités sur f7 x M ei [/ x M étant séparable, 
M{i,x) 6-5^ po-r suite séparable (voir le théorème 2.19 dans |3 P- 25]). 

Hypothèse 1: Pour tout couple (i,x) G x R, l'ensemble -/Vf(j .j.) est fermé compact (donc 
complet) pour la topologie faible. 

Exemple 2.8. Nous pouvons prendre comme exemple l'ensemble M défini par ses sections: 

{1 — (y — X — m)"^ ^ — ^ I 

r{i,x;j,dy) = pij (g) ^^-^ e ^ U 2^Pij = l,m G [m, m] >U{5(i^^)}. 

Soient une fonction g borélienne bornée sur U xM et une suite (r„) G M^^^^y 

Plj / 9U:y)^==e ^ dy, 
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où rrin G [m, m]. // existe une sous-suite extraite {nin,^) convergeant vers m dans M. 
Ensuite, la sous-suite p"^ est à valeurs dans le compact {X^^g^ Xj = 1} et donc il existe une 

n' 

sous-sous suite extraite p- ^ convergente. D 'après le théorème de Lebesgue de convergence 
majorée, la suite {r^r^{i,x; g)) converge pour toute fonction g et donc la suite (r„j_(z,2;; .)) 
converge faiblement dans M(j .j.) . 

Ainsi, l'ensemble M(j .j.) est fermé compact pour la topologie faible. 

Définition 2.9. A chaque contrôle a nous associons le gain 
r+oo 

k{a)= e~^'f{Cs,Ys)ds- ^ e"^^-ciCn,Y^- Xn+uY^J, (12) 

0<T„<T 

OÙ (3 est un coefficient d'actualisation, / : [/ x M — )• (profit net de la firme) et c : 
U xMxU xR— 7- M"*" (coût de changement de technologie) sont deux fonctions boréliennes 
positives. La fonction c vérifie pour tout couple {i,x) € [/ x M, c{i,x,i,x) = 0, c'est à dire 
s'il n'y a pas d'impulsion, le coût est nul. Soit le gain moyen: 

K{a,i,x) =E{k{a)\^o = i,Yo = x). (13) 

Remarque 2.10. En utilisant le Q-temps d'arrêt tn (Proposition \2. le gain défini par 
peut être écrit sous la forme suivante: 

e-P'f{Uys)ds- 



k{a){uj)= e-P'f{is,Y,)ds- ^ e-^^^c{Ck,Y^-,Ck+i,YrJ+ e-^V(CjvM, n)ds. 

(14) 



Définition 2.11. La stratégie a = {Tn,Cn+i, ^n)n>-i ^st dite admissible si et seulement 
si ces deux propriétés sont vérifiées: 



1. 



Jo°^e-^^fiCs,Ys)dsGL^ 



2. Pour tout n, la loi de (r„+i — r„, (Cn+i) ^n+.)l[T„,T„+i[) sachant est égale à la loi 
de (r„+i - r„, (Cn+i,>"T„+.)l[T„,T„+i[) sachant (Cn+i,>"r,J, elle-même égale à laFf^^^^yloi de 
(ro, (i, Y:)1[o,^(,)) prise en i = Cn+i,x = Yr„. 
On note A l'ensemble des stratégies admissibles. 

Nous remarquons que de fait la stratégie a est complètement définie par le couple 
a = (ro,î"), puisque la loi de (tq, (î, 1^^)1(0, ro)) ^st déterminée par la diffusion associée à 
{b{i,x),a{i,x)). 

Exemple 2.12. Nous supposons que {0, 1} est l'ensemble des technologies permises telles 
que est l'ancienne technologie et 1 est la nouvelle technologie. On réduit dans cet exemple 
l'ensemble A en supposant que tq déterministe. 

Le profit net de la firme est donné pour tout {i,x) € {0, 1} x M par f{i,x) = ije^ et le 
coût de changement de technologie est égal à c{i,x,l — i,y) = exp(3; + fi{y — x)). Nous 
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supposons que b{i,x) = bi et a{i,x) = ai, Vx. 

L 'ensemble M des probabilités de transition est défini par ses sections : 

M(^i,x) = ^r{i,x;j,dy) = pij ^Àf{x + m, 1); [pij] = (^^ ) '"^ ^ [?Ti,rn:]| U {ôi^x}- 
Sous les hypothèses (3 > supi^u{bi + ^<jf) et m < ^ (2/3 — (6o + ^i) — è(^o + '^i)) ~ h> 



rj 

De plus, tq, bi et ai étant déterministes, nous obtenons 

e-^-" exp(y - + ^(y.„ - y -)) g l\ 

n>0 

La preuve de ces deux propriétés sera explicitée dans le chapitre 2 (en utilisant la proposition 
\3.18\) . Grâce à ces deux propriétés, nous pouvons déterminer le profit optimal de la firme 
et la stratégie optimale associée. 

Définition 2.13. Soient 9 un Q-temps d'arrêt et a £ A une stratégie admissible. Nous 
dirons qu'une stratégie admissible fj, se comporte comme a jusqu'à 9 exclu, que l'on note 

{fit = at,yt<9} (15) 

dès que les stratégies a et fi arrêtées en 9~ coïncident. C'est à dire que pour lu fixé, il 
existe n{oj) tel que t^{co) < 9{uj) < t"_|_^(cj) et nous avons, \/k < n{u): 







^k 


— ^k ' 







r. 

De même, nous dirons qu'une stratégie admissible fi se comporte comme a jusqu'à 9 inclus, 
que l'on note: 

{fit = at,yt<9} 

dès que les stratégies a et fj, arrêtées en 9 coïncident. C'est à dire que pour u fixé, il existe 
n{oj) tel que t"{uj) < 9{uj) < t"_^_i{uj), et par suite, V/c < n{uj): 

^k — ^fc ' 

/-a 

Le cas particulier 9 = les stratégies a et fi arrêtées en r~ se traduit par le fait que 
y UJ, n[uj) = n, et V/c < n: 

^k ~ ^fc ' 
^k — ^k ' 

Le cas particulier 9 = les stratégies a et fi arrêtées en Tn se traduit par le fait que 
Vcj, n{u}) = n, et V/c < n: 

^k — ^k ' 
/-a 



9 



3 Critères d'optimalité 



Le problème d'optimalité posé consiste à prouver l'existence d'une stratégie admissible a 
qui maximise la fonction gain K{a^i,x) définie par l'expression (jl3p . c'est à dire trouver 
une stratégie a telle que 

K{a, i, x) = ess s\\Y>K{a^i,x). (16) 
La stratégie a est dite optimale. 

3.1 Gains maximaux conditionnels 

Nous introduisons, tout d'abord, deux notions que nous utiliserons fréquemment (voir |181 
p. 87-92]): 

Définition 3.1. Soit une filtration % et T une sous-famille de Ti-temps d'arrêt. Une 
famille de variables aléatoires {Xg,6 & T,a & A} est appelée un {H, T, A) -système si, 
pour tout 6 £ T et tout a £ A, l'ensemble des stratégies admissibles, nous avons: 

i/ V7 G r, sur l'ensemble {9 = 7}, = P p. s. 

a/ Les variables aléatoires Xg sont -mesurables. 

m/ Si fi £ A, Ht = at yt < 9 et fi = a sur D G Tig (i.e. Vùj G D, n{t,oj) = a{t,uj) pour 
tout t) alors X^ = Xj^ sur D F p.s. 

Définition 3.2. Un {TijT, A) sur-martingale-système (resp. martingale- système, sous- 
martingale- système) est un (T-L,T, A) -système tel que: 

i/ Pour tout 9 £ T et tout a £ A, Xg est T-intégrable. 

il/ Si ^ et 9 sont deux éléments de T tels que < 9, alors: 

^{X'^\H^)<X^ p.s. (resp. =,>). 

m/ Si H £ A, fit = Oit Vt < 9, alors Xq = Xg P p.s. 

La méthode de résolution des problèmes de contrôle stochastique de type p6|) repose 
sur le principe de Bellman (voir [18^ p. 95]). Plus précisément, si on connaît une stratégie 
optimale a jusqu'à un temps d'observation T , et une autre optimale à de T à T + /i, il 
reste optimal entre et T + de garder a jusqu'à T et de la prolonger après par à. Ce 
principe est en fait un critère nécessairement et suffisant d'optimalité. C'est la raison pour 
laquelle nous introduisons les gains maximaux conditionnels suivants: 

Définition 3.3. Soit T la famille des Q-temps d'arrêt et T* la famille des Q-temps d'arrêt 
strictement positifs. Pour toute stratégie a £ A, nous appelons gain maximal conditionnel 
la famille définie par 

= ess sup {¥.[k{n) \ge\], 9 G T* . 

fit=at,t<9 

Respectivement, 

= ess sup {E[A:(/i) \Fe]],9 £ T. 

fit=at,t<9 
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La variable aléatoire Fq (resp. Fq ) représente le gain maximal conditionnel connais- 
sant l'évolution du processus impulsé jusqu'à l'instant 9 en excluant (resp. incluant) la 
renaissance éventuelle en cet instant. 

Pour toute stratégie a Çï A et tout temps d'arrêt 9 G T*, le gain après 9 est donné 
p. s. par l'expression suivante: 

r+oo 

ke{a)= e-^'f{is,Ys)ds- e-^^^-^C™, F- , Cn+i, l^J. (17) 

^ 6»<r„<r 

Respectivement, le gain strictement après 9 est donné p. s. par 

r+oo 

keAa)= e-^V(6,>^s)ds- Yl e-^""c(C„, Y,- , Cn+i, ^^J- (18) 

É»<r„<T 

D'où la remarque suivante: 

Remarque 3.4. 1. Les égalités et montrent que /cQ+(a) = k{a). On en déduit 
que, pour toute stratégie a ^ A, 

F^^ = supE[A:(^)]. 

2. L'expression k{a) — kg{a) {resp. k{a) — kQ+{a)) étant Ç g (resp. J- g) -mesurable, nous 
avons \/9 € T* Va € A, 

F^ = k{a) - kg{a) + esssup {^{kg{^L)\gg)}. 

{^it=at,t<6} 

Respectivement, \/9 & T 

Fg^ = k{a) — kg+{a)-\- esssup {K{kg+{fi)\Tg)} p.s. 

{fit=at,t<e} 

Proposition 3.5. La famille de gains maximaux conditionnels {Fq, a £ A, 9 G T*) est 
un {Ç, F*, A) -système. Respectivement, {Fq^ , a € A, 9 G T) est un {F, F, A) -système. 

Preuve: Il s'agit de montrer que la famille de variables aléatoires (Fq) vérifie les pro- 
priétés de la définition 13.11 

1. V7 G 7~*, nous avons: 

F" = /c(a) — ^(q) + esssup E (A;^(;u)| Ç^) . 

Sur l'ensemble {9 = 7}, nous avons kg{ij,) = k^[^). Ensuite, nous sommes ramenés à 
montrer l'égalité 

l{e=T,} E {k^{^i)\ Ge) = l{e=7} ^ {k^{p)\ G-y) ■ 
De prime abord, {0 = 7} G Ç-y H Ge- D'une part, l'expression 

l{g=^}E{kj{l^l)\G^) l{^<t} 
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est Çt-mesurable. Elle est égale à l'expression l{e=7} lE Ç^) l{6»<t} qui est Ç^-mesurable 

et donc l'expression Ijg^^} E G-y)} est Çg-mesurable. 

D'autre part, l'expression Ijg^^j E Çe) est Çg-mesurable. 

Puis, soit X une v.a. Çg-mesurable. Nous avons X l^g^^y G Ç^. Par suite, 

E (X E [k^{fi)\ g^]) =E{X l|e=^} . 

De plus, 

E (X k^ifi)) = E (X E ae]) . 

Il en suit, 

E (X E [^(^)| g^]) = E (X E [^(^)| Ge]) . 

Ainsi, 

= F" P p. s. sur l'ensemble {0 = 7}. 

2. L'expression A;(a) — A;g(a) est Çg-mesurable. De plus, par définition de l'ess-sup d'une 
famille mesurable, l'expression ess sup E (A;^(/i)| Ç^) est aussi Çg-mesurable. Ainsi, Fg 

{/xt=at,t<7} 

est Çg-mesurable. 

3. Si fj, £ A, fit = cit y t < 6 et ^ = a sur D ÇiGe nous avons: 

FH" = {k{n) - ke{ii)) + ess sup ¥.{k0{a)\Ge) ■ 

{Ht=at,t<9} 

Ainsi, sur D, nous obtenons Fg = Fg P p.s. Fg est bien un (Ç, 7~*, .4)-système. 

On procède d'une manière analogue pour montrer que {Fg^ ) est un {F, T, ^)-système 
en constatant que Fg"^ est J^g-mesurable puisque c'est la somme de deux expressions Fq- 
mesurables. H 

Définition 3.6. Pour toute stratégie a £ A et tout G-temps d'arrêt 9 £ T, une stratégie 
a est dite (6 , a)-conditionneUement optimale si elle est admissible, at = at'\/t < 9 et elle 
vérifie p.s. 

Ff =¥.{k{a)\Fe) ^ p.s. 

Le principe d'optimalité est basé sur la propriété de commutation de l'ess-sup et de 
l'espérance conditionnelle, qui est en particulier satisfaite si la famille considérée est un 
ensemble filtrant croissant (voir |18| p. 230]). D'où le lemme suivant: 

Lemme 3.7. Pour tout G-temps d'arrêt 9 £ T et toute stratégie a £ A, l'ensemble 

{E{k{fi)\Ge);yt<9, fit = at} 

est un ensemble filtrant croissant. Egalement on a la même propriété pour les ensembles 
suivants: 

{E{kg{fi)\Ge);yt<9, fit = at} et {E{ke+{fi)\Fg);yt < 9, fit = m}. 
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Preuve: Considérons deux stratégies admissibles /i^ et fj? vérifiant 

{^l = at,t < 9} et {/ij = at,t < 6}. 
Introduisons, pour simplifier l'écriture, les variables aléatoires Çg-mesurables suivantes: 

=E{k{fi')\gg) et = E{k{fi^)\ge). 
Nous définissons la stratégie admissible fi = (r„,Cn+i; ^n) par 

^ ~ \ sur {F^ > F2} 

Elle vérifie {fit = at,t < 9}. 

= E{k{fl^)\ge) l{pi<F^y+E{k{jl^)\gg) l|^i>^2| 

= f^vf"^. 

Pour l'ensemble {E{k0{fi)\g0) ; ^/t < 9, fit = «t}, au lieu des v.a. F^ et F'^, il suffit de 
prendre les variables aléatoires Çg-mesurables suivantes: 

Fl =E{ke{fi^)\ge) et F^ = E{ke{fi^)\ge), 

et la démarche sera la même que précédemment. Tandis que pour l'ensemble {E(A;g+ {fi)\J^g) ; \/t < 
9, fit = ctt}, nous procédons d'une manière analogue en considérant les stratégies fi^ et fi^ 
vérifiant 

{fi^ = at,t<9} et {fit = at,t<9}, 
et les v.a. J^g-mesurables suivantes: 

F3 = E(A:e+(/x3)| J-g) et = E( V (/)l -^e). 

H 

Corollaire 3.8. Pour tout g -temps d'arrêt 9 £ T et toute stratégie a G A, l'ensemble 

{E{k{fi)\ge);yt<9, fit = at} 

étant filtrant croissant, nous pouvons commuter l'ess-sup et la g (resp. T) — espérance con- 
ditionnelle. Il en est de même pour les ensembles: 

{E{ke{fL)\ge);'^t<9, fit = at} et {E{ke+{fi)\Fe)-yt < 9, fit = at}. 

Pour plus de détails, voir la proposition A. 2 de N. El Karoui |18l p. 230]. 

Proposition 3.9. Le gain maximal conditionnel {Fg) (resp. (Fg^)) forme un {g,T*,A) 
{resp. {J^,T, A)) -sur-martingale-système positif. 
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Preuve: 

1. Soient et 7 deux Ç-temps d'arrêt avec j < 9. Alors, p. s. 



< E 



ess sup E {Hp) \ Ge) \ Gj 

fit=at,t<9 

ess sup E {k{fi) l^e) | Qf 

pt=at,t<^ 



le sup étant pris sur un ensemble plus vaste dans la deuxième inégalité. Nous pouvons 
commuter l'ess-sup et la ^-y-espérance conditionnelle, grâce au corollaire I3.8| et obtenir 
p.s. 

2. On applique le même raisonnement pour le gain maximal conditionnel Fn* : 



W 1-^7) 



E 



< E 



ess sup 
ess sup 

fj.t=at,t<j 



le sup étant pris sur un ensemble plus vaste dans la deuxième inégalité. Nous pouvons 
commuter 1' espérance conditionnelle, grâce au corollaire 13.8^ et obtenir 

p.s. 

E{Ff\J^.f) < Ff. 

Il reste à prouver que les variables aléatoires Fg"^ et Fq sont positives pour tout Ç-temps 
d'arrêt 6. Il suffit de choisir une stratégie a appartenant â A dont le gain est positif. Soit 
une stratégie a £ A avec it = h Vt et tq = +00. Le gain associé à a est donné par 

r+co 

k{a)= / e-P'f{i,Ys)ds. 

Or la fonction / est positive et donc l'expression précédente est positive. Ce qui entraîne 
que son Fg (respectivement Ç0)-espérance conditionnelle est aussi positive. En passant à 
l'essentiel supremum, on déduit que Fq et Fg sont positives. ■ 

Une conséquence immédiate de cette proposition est le premier critère d'optimalité qui 
permet de réduire considérablement la classe des stratégies susceptibles d'être optimales: 

Corollaire 3.10. Une condition nécessaire et suffisante pour que la stratégie a soit opti- 
male est que le gain maximal conditionnel F*^ soit un {F ,T , A)-martingale-système, c'est 
à dire V6,7 deux G -temps d'arrêt, 7 < 0, nous avons 

¥.{Ff\F^) = Ff ¥p.s. 

Preuve: La stratégie admissible a est optimale, alors elle vérifie pour tout 9 ÇiT: 

E(fc(a)) = supE(/c(a)) > sup E(Â;(a)) > E(Â;(a)). 

a&A {a:at=ât,t<e} 
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D'où l'égalité. De plus, la commutation de l'ess-sup et l'espérance conditionnelle et l'égalité 
précédente entraînent 

E(Fe"^)=E( esssup E(A;(a)| J-e) ) = supE(fc(a)) =E(A:(a)) = Fo"^. (19) 

\{at=St,t<0} J aSA 

La dernière égalité provient de la définition 13.61 appliquée au temps et montre que l'on a 
bien un (J^, 7~, ^)-martingale-système. 

Inversement, supposons que {Fg'^) est un (J^, T, ^)-martingale-système, c'est à dire 

p.s. F^^ = E{F^^ I J-^) pour tout 7 < ^, 7, ^ G T. 

Citons le théorème 1.17 d'El Karoui |18) : 

" Une condition nécessaire et suffisante pour qu 'un contrôle a soit optimal est que, pour tout 
temps d'observation 7, il soit {a,^)-conditionnellement optimal, ou ce qui est équivalent, 
que le gain maximal conditionnel par rapport à a, soit un {J^,T, A) -martingale-système, 
c'est à dire que si ^ et 9 sont deux temps d'observation avec 'j < 9: 

K[F^^\J^^] = F^^ p.s:' 
On peut donc dire que la stratégie a est conditionnellement optimale donc optimale. 

■ 

Nous introduisons une nouvelle notion de gains maximaux: 

Définition 3.11. Pour toute stratégie admissible a et tout Q-temps d'arrêt 9, nous appel- 
ions gain maximal conditionnel après 9 £T* la variable aléatoire définie p.s. par: 

:= esssup E[ke{^-C)\Ge\ ■ 
{iA.t=at, yt<e} 

Respectivement, le gain maximal conditionnel strictement après 9 & T est la variable aléa- 
toire définie p.s. par: 

Wg~^ := esssup E [k0+ (fx) . 

{/it=at, Vi<9} 

Proposition 3.12. Pour toute stratégie a & A et tout Ç-temps d'arrêt 9, le gain maximal 
conditionnel Fq peut être écrit, p.s., sous la forme suivante: 

FIj' = {k{a) -ke{a)) + W^, où 9 > p.s. (20) 

De même, le gain maximal conditionnel Fg* est donné par l'expression 

Ff = {k{a)-kg+{a)) + wf. (21) 
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Preuve: De la définition du gain maximal conditionnel, nous avons pour 9 & T*. 

Fg = {k{a) - kg{a)) + ess sup E {kg{fx)\ Ge) , 

{fit=at, vt<e} 

où l'on reconnaît Wg dans le deuxième terme, soit (|20p . 
De même pour tout 9 £ T: 

= ess sup E [k{ii) \Te] 
{^lt=at, vt<e} 

= {k{a) — kg+{a)) + ess sup K {kg+ Tq) . 

{fit=at,t<e} 

où l'on reconnaît Wq^ dans le deuxième terme. D'où l'égalité ()2ip est vérifiée. 



Remarque 3.13. On déduit immédiatement des égalités \20\) et \21]) et du fait que les 
gains maximaux conditionnels Fg et Fg~^ sont des {G,T*,A) (respectivement {J^,T,A))- 
systèmes que (Wg) définit un (G,T*,A)-système et que [Wq^) définit un (J^,T,A)- 
système. 

Lemme 3.14. Le gain maximal conditionnel W^^ converge vers f^°^ e~^'^ f{^s,Ys)ds p. s. 
lorsque n tend vers l'infini. 

Preuve: De la proposition 13.91 la famille (-F^^ , 9 £ T) est un ( J^, T, .A)-sur-martingale- 
système positif, donc {F^^^ , n > 0) est une sur-martingale discrète positive pour la fil- 
tration Jv„- Grâce à la convergence des sur-martingales positives, il existe une limite p. s. 
positive de F" , lorsque n tend vers l'infini, notée F^ et qui vérifie: 



F" > E 
ni — 



^00 K T,i 



p.s. (22) 



Cette limite est J>-mesurable. En effet, nous avons, y B ouvert: 

{u^en-. F-^ eB} = [Jf] {F^; e S} G v„^,„ c T^. 

N n>N 

D'une part, la commutation de l'essentiel sup et l'espérance conditionnelle par rapport 
à la filtration Jv^ permet d'établir l'expression suivante: 

HFl^)= sup E[Eik{fx)\J^rJ]= sup Eikifi)), 

IJ,t=Cet,t<Tn flt=at,t<Tn 

la suite (F^^) étant une sur-martingale discrète positive convergeant p.s. et dans vers 
F^ , la suite E(F^^) décroît vers E[F^] et sup^^^^^^^^^^^K {k{fi)) décroit vers K{k{a)). 
Par suite, nous avons E[Fj^^] = E {k{a)). 

En utilisant F^^ — E[/c(a)| Jv^] > 0, nous obtenons F^ — k[a) > 0. Ainsi, nous avons 
F-^=kia). 
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D'autre part, en utilisant la remarque 12.101 k^+(a) converge vers /^°° e '^^/(Çs, 
p. s. lorsque n tend vers l'infini. De l'expression (12ip . il vient : 



r+oo 

liin Ty^f = liin (F^f +fc +(a)-fc(a)) = F^+-A:(a)+ / e-^7(6,n)ds. 

Ce qui entraîne que W^^^ converge vers f^°° e~''**/(Çs, Ys)(is p. s. ■ 

Le principe de la programmation dynamique est un principe fondamental pour la 
théorie du contrôle stochastique. Il a été initié dans les années cinquante par Bellman 
et il s'énonce ainsi dans notre cas : 

Proposition 3.15. Pour toute stratégie a £ A et tout couple (7,^) de Q-temps d'arrêt, 
^ ÇiT* , 9 ÇiT, nous avons p. s. 



> E 



/ e-P'f{i,,Y,)ds- Y. e-'^-"c(Cn,i;-,Cn+i,i;jia, 

+ ¥.{W^\g^). 

Respectivement pour tout couple (7,^), < 7 < 0, nous avons p. s. 



(23) 



> E 



/ e~^'f{Cs,Y.s)ds- Y. e-^^"c(C„,,i;-,Cn,+i,i;j|-F^ 

J'Y 



"/<Tn<e 



+ E(We° (24) 
De plus, a est optimale si et seulement si l'égalité a lieu p. s. pour tout couple (^,7). 



Preuve 

1. D'après la proposition 13.91 la variable aléatoire Fq est un {Ç,T*,A) sur-martingale- 
système, c'est à dire que pour 7 < ^ 



p.s. F" > E(Fe" |g^). 



(25) 



En écrivant le gain maximal conditionnel F" sous la forme (I20p dans l'inégalité ([25]), nous 
obtenons 

k{a) - k^{a) + > E{k{a) - ke{a) + \g^). 

D'où, 

> E(^(a) - ke{a) + W;^ \g^). 
Nous obtenons ainsi l'inégalité (I23D. 



Nous appliquons le même raisonnement pour démontrer l'inégalité (124p : D'après la 
proposition 13.91 la v.a Fq^ est un {J^,T,A) sur-martingale-système, c'est à dire que pour 

p.s. Ff > ^{Ff (26) 
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En écrivant le gain maximal conditionnel F^^ sous la forme ()2ip dans l'inégalité (126]) . nous 
obtenons 

k{a) - k^+{a) + W^^ > E{k{a) - kg+{a) + 

D'où, 

2. Supposons que la stratégie a est optimale. Par suite, d'après le corollaire 13.101 -P"^ est 
un ( J^, T, ^)-martingale-système et on a l'égalité 

Réécrivons cette égalité en remplaçant F'^^ par l'expression (I2ip prise en et 7: 

A:(a) - + = - V(â) + Wf^ 

Ainsi /c(S) — k^+{a) étant 7%^- mesurable, il passe sous l'espérance conditionnelle et 



E k^+ (S) - ke+ (3) + \F^] , 



l'égalité (j24|l est vérifiée. 



3. Réciproquement, supposons que la stratégie a vérifie l'égalité (124^ pour tout 7,0, en 
particulier avec 9 = t: 



= E 



J'y 



7<T„<r 

OÙ l'on remplace et W^'^ par (|2ip soit 



=E 



k{a) — k^+{a) + 



f e-^'î{i,,Ys)ds- Y. e~^^-c{C^,Y^-,Cn+i,Yr^) + Ff -k{a) + k,+ {a)\F^ 



7<T„<T 



et l'on simplifie utilisant les définitions et en particulier k^\(a) = e f{Cf ^Y^) ds : 



E 



F° I 



{F" ) est un (F, T, ^)-martingale système et le corollaire 13.101 permet de conclure. ■ 

Le second critère d'optimalité permet d'examiner ce qui se passe entre deux instants 
de changement de technologie et d'état: 

Théorème 3.16. Pour toute stratégie admissible a, tout couple {i,x) G U x M. et pour 
(t, relatif à la stratégie a, nous avons les inégalités p. s. suivantes: 



Pour tout n > 0, 



> -e 

'n — 



f c{Cn,Y^-,i,x)r{C^,Y^-,i,dx)+W.{W^^\ G^J. 
JuxR 



Pour tout n > — 1, 



> E 

T 71. — 



e-^'f{ù,Ys) ds\ Tr^ ) +E{W^A Fr„) 



(27) 
(28) 
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On déduit de \21\) prise en n = et i28\) prise en n = —1 : 



Wf > E ( / e-^'fiis^Ys) ds - e~P^^c{i^,Y Ci,Y^,)\ ) +^(^^1 -^o), (29) 











OÙ J-Q = a{^o,Yo). De plus, la stratégie a est optimale si et seulement si l'égalité a lieu 
simultanément dans \2'T\) et \28i). 



Preuve 

1. L'essentiel supremum étant pris sur un ensemble plus restreint, nous pouvons écrire p. s. 



Wl > esssup E{ r"'^'e-^^f{C^,Yr)ds- e-/^-^'c(C^ ^(.m)- , C^^^, F^m) 

{^lt=at,t<T{^} Jri^ n<k<N 

/ + 00 

iV(^) 

Puisque = at,Vt < t„, nous avons Tn = et = Gt^- Par suite, nous pouvons 
écrire l'égalité: 

E(e-/'-"c(C^y(.M)-,C+i,lt)| Ç^m) = / e-/'-"c(C,y(.„.)-,i,x)r(C,y(,.)-,i,dx). 

Cette expression est Çt-„ -mesurable et ne dépend pas de la stratégie /i. Elle peut donc être 
sortie de l'ess-sup pour obtenir p. s. 

Wl>-e-^^- j c(C, i,x)r(.,i,dx)+ esssup E (m)| 



Du fait que J^^m = J'r^, nous avons: 
> -e 



" / c{Cn,Y^rS)-^hx)r{.,i,dx) +E ess sup E(A;^+(^)| . 

JUxR \{fJ.t=at,t<T„} " J 

D'où l'inégalité ([271) . 

2. Par définition du gain maximal conditionnel après 6, 

= esssup E{ T"'^' e-^^fiCi^,Yr)ds- ^ e-'^<c(a, , Cfc+i, 

{Mt=ai,i<r„} Jt}: n<k<N 

/ + 00 

Soit dans la famille des fi qui vérifient {fit = Oit,yt < r"} celles qui coïncident avec a 

fj. 

jusqu'à {t^j^i)~ , donc T^_^_l = r^_,_]^ et e~'^'*/(Çs, Y"/*) ne dépend pas de /U. Ainsi, 



W^J > E 



(yj^' e-^'f{is.Y,) ds\ Fr}j +E{K„^M\ -^rj 
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Comme T^i^ C G^i^ la minoration peut se récrire : 

~n+l 

W^^ > E (^l^y e-^'f{^s,Ys) ds\ J^r?j + E (E Gr^^,) \ -F.J . 

Puisque fi coincide avec a jusqu'à (r"^_]^)~, par essentiel sup il vient: 



>E 



e-^'f{Cs,Ys) ds + ess sup E {kr,,^, (^)| J | 1 . 

{/it=at,t<r„+i} / 



Enfin, l'essentiel sup commute avec la J-V„ -espérance conditionnelle ce qui implique 
l'inégalité ([28]). 



3. Supposons que la stratégie a est optimale. D'une part, les inégalités (j27p et (f28l 
impliquent 



VF" > 



> 




> 


_g-/3r„ 






+ 









Uxî 



Uxî 



c{Cn,Y^-,i,x)r{.,i,dx)+E{wl \ G, 



e-^'f{ù,Y,) ds + W^ \Gr 



où (r, Ç, y) est relatif à la stratégie a. 

D'autre part, l'égalité (j23p appliquée aux temps d'arrêt t„ et r^+i entraîne l'égalité 



VF" 



E 



+ E 



D'où (I27p est une égalité. 



4. Ci-dessous, le triplet (r, Ç, y) est relatif à la stratégie a. En remplaçant dans l'inégalité 
(j28p le gain maximal conditionnel ^ par l'égalité (j27p appliquée au temps T^+i, nous 
obtenons 



VF" > E 



> E 



Tn + l 



e-^'fiCs,Ys)ds + W?\T^. 



Tn+l I 



Tn 
Tn + l 



e-^'f{Cs,Ys) ds + W^;^^ - e-^^"+lc(C„+l,y -^^,Cn+2,yr„+J| -^r, 



De plus, l'égalité (|24p appliquée aux temps d'arrêt et Tn+i entraîne l'égalité 



VF° 



= E 
+ E 



Tn+l 



e-''7(6, Ys) ds - e-^""+lc(C„+l, y - , Cn+2, yr„+J| -^r, 



^T„+J-^T„ 
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Ce qui entraîne que (j28p est une égalité. 



5. Supposons qu'il existe une stratégie admissible a pour laquelle il y ait égalité dans 
(|29p . (I27p et (I28p pour tout n > (respectivement pour tout n > —1). Nous avons, 
d'après l'égalité (f29|) p. s. 



Pro, 



+ E 



Nous posons l'hypothèse de récurrence jusqu'au rang n suivante: 



E 



fc=0 



(30) 



Montrons qu'elle est vraie au rang n + 1. Les égalités (128p et (127p (prises en (n + 1)) 
impliquent : 



= E 

Tn 



(31) 



E 



Tn 
n + 1 



En remplaçant par son expression (j3ip . l'égalité (j30p devient 

n.+l 



A:=0 



Ainsi l'hypothèse de récurrence est vérifiée au rang Enfin, lorsque n tend vers l'infini, 

W"^ converge vers J^°° f{(,s,Ys)ds p. s. (lemme [3.14j) et par suite nous avons 

Wf =E{kia)\:Fo). 
En appliquant la propriété (|2ip en = 0, nous obtenons Fq^ = Wq^, soit 

Fo"^=E(fc(a)| J-o) = %,)(A;(a)). 
Par conséquent, la stratégie a est optimale. ■ 



3.2 Propriétés markoviennes 



Le critère d'optimalité donné par le théorème 13.161 est insuffisant pour aider à la construc- 
tion d'une stratégie optimale car les variables aléatoires W"^ et qui interviennent 
dépendent de la stratégie admissible a. En utilisant le caractère markovien et homogène 
entre deux instants d'impulsion, ainsi que la forme markovienne de chaque renaissance, 
nous pouvons espérer obtenir que les gains maximaux conditionnels ne dépendent que de 
l'état de système à l'instant du conditionnement. 

D'après le théorème de Doob, Vl" intégrable il existe une fonction mesurable g telle que: 

E[Y\a{^t,Yt)] ■.= g{it,Yt). 
Ainsi, prenons en compte la notation: 

^{i,x}{Y) ■.= 9{i,x). 
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Proposition 3.17. 1. Introduisons les fonctions p et p'^ sur l'espace de probabilité (U x 
M,P([/)®%,P); 

p{i, x) = ess supE{i^^}{k{p)) et p+{i,x)= ess sup E{j^^.}(A;(/i)), 
fj-eA {/iG^,T^>o} 

où l'ess-sup est pris au sens de la mesure de Lehesgue. Ces deux fonctions sont V{U) 
mesurables. 



2. De plus, 



p{i,x) > p'^{i,x) > Ei^. 



r+oo 

/ e-^'f{^s,Ys)ds >0 



(32) 



Preuve 

1. La mesurabilité de ces fonctions, sur l'ensemble de probabilité (U x M.,V{U) (8) B-^,¥), 
est assurée comme conséquence de la proposition 6.1.1 de J. Neveu |31| : 
"Pour toute famille F de fonctions réelles mesurables f : il. — > M définies sur un espace de 
probabilité {Ç},A,F) il existe une, et à une équivalence près une seule, fonction mesurable 
g : Q — > M telle que 

• g ^ f P-S- pour tout f £ F, 

• si h est une fonction mesurable telle que h > f p.s. pour tout f £ F, alors h > g 
p. s. 

Cette fonction g, qui est la borne supérieure de la famille F au sens de l'inégalité p.s., est 
noté ess sup(-F). En outre, il existe au moins une suite {fr^n £ N) extraite de F telle que 

ess sup(F) = sup/„ p.s. 

Si la famille est filtrante croissante, la suite {fn,n £ N) peut être choisie p.s. croissante et 
alors 

ess sup(F) = lim t /„ p.s." 

n 

2. D'une part, puisque l'ess-sup est pris sur un ensemble plus restreint, il est trivial de 
prouver que p{i,x) > p^{i,x). 

D'autre part, pour la stratégie p qui vérifie tq = +00 et = i Vt, nous obtenons: 



D'où, la propriété (j32p est vérifiée. 



■ I- + 00 

Jo 



Proposition 3.18. Pour toute stratégie p et toutes fonctions f et c telles que 



{uj,t) 



-/3{t-T„) 



f{Ù,Yt)l 



et ijj 



-/3(rfe-T„) 



sont intégrables \/n,\/k > n, il existe des fonctions mesurables (-Fi)i<i<4 sur N x [/ x 
telles que: 
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E 



E 



E 



où A 



A: 
A: 

n,fc + l = l{T„<T„+l<...<Tfe + l}- 



- n,Cn+i,^r,J, VA; > re > -1 

(33) 

i^2(fc-n,Cn,>;-), VA; > n > 

(34) 

F^{k - n,Cn+i,>^r,J, VA; > n > -1 

(35) 

F4(A; -n,Cn,X,-), VA; > n > 0, 

(36) 



Preuve: Pour montrer les assertions précédentes, il suffit de procéder par récurrence. 
Notons d'abord par (/"",t > 0) la ffitration [Tt+Tn^t ^ 0). Ensuite, mentionnons que les 
processus y" et X+t„ ont la même loi -conditionnelle sur l'intervalle [0,r„+i — Tn[ où 
y" est un processus de Markov homogène partant de et vérifiant: 

dY^^ = h{Cn+i,Yi^)dt + fT(c„+i, yt")dW7 

OÙ VF" est un mouvement brownien indépendant de la filtration . De plus, le processus 
{t,YJ^) est un processus de Markov non homogène pour la filtration {T^ ,t > 0). 

1. Commençons par l'assertion (I33p . Pour l = k — n = 0, n > —1, nous avons: 



E 



An,n+1 / e-^^'-^-^f{iuYt)dt\Tr„ 



E 
E 



A 



Tn+l 

n,n+i / e-l'^'-^-^f{Qn+i,Y,%Jdt\F^, 



-/3(t-r„) . 



rTn+l—Tn 

An,n+i / e-P'f{Cn+i,Yndt\:Fr^ 
Jo 



En utilisant 2. de la définition 12.111 nous obtenons: 



E 



A. 



n,n+l 







e-f''f{Cn+i,Yndt\Fr, 



E 



{i,x} 



A^ifl / e-^'f{Qn+uY^-^)dt 



I ^ — Cn+l 5^ — 



OÙ j4_i^o = 1{to>0}- On obtient donc l'existence d'une fonction -Fi(0, ., .) telle que 



E 



/"Tn+l 

An,n+1 / e-^(*-")/(6,>t)di|-F,, 



Fi(0,Cn+l,i;J, 
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ou 



Fi(0,i,x) =E{,,,} 



D'où, l'assertion (p3l) est vérifiée pour / = 0. 



Gr„ étant une sous-tribu de J>„, on conditionne ce dernier résultat par Gt„, pour tout 
n > 0. Ensuite, en se servant du théorème de Fubini et en utilisant la loi conditionnelle r 
de passage du couple au couple {Çn+i^Yru) sachant qui est indépendante de 

n, nous obtenons: 



E 



[Fi(0,Cn+i,l^rj|a.J = / Fi(0,i,y)r(C„,,y- 

JUxR 



j, dy). 



Cette dernière expression est effectivement une fonction mesurable de Cn et Y D'où 
l'existence d'une fonction F2{0, ., .) définie par 



F2{0,i,x) 



FiiO,j,y)r{i,x,j,dy). 



Par conséquent, les assertions (j33p et (|34p sont vérifiées pour l = k — n = 0. Supposons 
qu'elles sont vraies jusqu' kl = k — n et montrons qu'elles sont vraies au rang / + 1. 



2. D'une part, du fait que Jv^ C Qr^+i et An,n+i £ ^r„+i, nous avons: 

(•Tk+2 



E 



E 



Tk + 1 



f{iuYt)dt\Fr, 



A„,„+iE U„+i,fc+2 fj*' e-'^^*-^")/!^, Yt)dt I Gr^+, 1 I 



D'après l'hypothèse de récurrence (|34p appliquée à / = (A; + 1) — (n + 1), nous obtenons: 

''Tk+2 



E 



~/3(i-r„) 



E 



i,oe" 



La dernière égalité est donnée grâce à la définition 12.111 D'où l'assertion (p3|) est vérifiée 
pour l + 1 avec 



D'autre part, Gt„ C J>„ et par suite en conditionnant l'assertion (I33p par Çt-„ il vient pour 
A; + 1 = (/ + 1) + n, 

E[Fi(/ + l,Cn+i,i;j |a.„] = / Fi{l + l,j,y)r{Qn,Y^-,j,dy). 

JUxR 
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L'expression précédente est bien une fonction de / + 1 et mesurable pour les v.a. ^„ et y_ 
et l'assertion (j34p est vraie \/k > n avec 

F2{1 + l,i,x) = / Fi{l + l,j,y)r{i,x,j,dy). 

JUxR 



3. On calcule pour l = k — n = 0, n > 0: 



E 



E 
E 



c(Cn , , Cn+1 , )IE (^n,n+l | -^r„ ) | 

c(Cn, Y^- , Cn+1, A„ + y,„_)E (A_i,o I I 

'j,y{^o > 0)ciCn,Yr^-,j,y)r{Cn,Yr^-,j,dy). 



Uxl 



La dernière égalité provient de la définition de la loi conditionnelle r de passage de (Cn,Y - 
à (Cn+i)^„) sachant Q-j-^. Ainsi, on a l'existence de -F4(0, ., .) définie par 



Uxî 



^jA'^o > 0)c{i,x,j,y)r{i,x,j,dy). 



Ensuite montrons que l'assertion (|35p est vraie pour k = n + 1, n > —1. Du fait que 
J^^^ C Gt„+i, on multiplie l'assertion (I36p . prise au rang n + 1, par j4„^„+ie~'^^'^"+^~^"\ 
puis on la conditionne par Jv^ et 1' on obtient 



E 



E 



{i,x} 



A_i,oe-^-oF4(0,Cn+i,>;:^,- 



i=Çn+i,2:='5^T, 



la dernière égalité étant donnée par 2. de la définition 12. 111 Par suite, il existe -F3(l, 
définie par 

F3(l,i,x) =E|,,,} [l{,„>o}e~''"°F4(0,i,y;i 



Ainsi l'assertion ([35]) est vérifiée pour /c = 7i + 1. 



Par suite on pose les hypothèses de récurrence (I35p et (I36p jusqu'au rang l = k — n et 
on montre qu'elles sont vraies pour / + 1. 

4. Pour tout n > -1, Jv^ G ^r„+i et An,n+i ë ^r„+i, nous obtenons: 



E 



-/3(rfc+i-T„) 



c(Ca:+1 , Y- , Cfc+2 , Yr^^ ) JV, 



E 



An,„+iE(A„+i,fc+2e-^(^'=+i-^")c(a+i,i;- ,a+2,>^r,+j|ar„+i) 1-^. 

\ fc+1 / 



D'après l'hypothèse de récurrence (f36|) . appliquée à / = (/c + l) — (n + 1), l'égalité précédente 
devient: 



E 
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E 
E 



En utilisant la définition 12. IH l'égalité (j35p est vérifiée M k > n avec l'existence de F3(/ + 
1, ., .) définie par 

Ensuite, Ç^-n C -7>„- Par suite, pour tout n > 0, en conditionnant l'assertion (|35p en 
k + 1 > n par la filtration Qr„ , nous avons: 



E 



-/3{T"fc + l-T„) 



c(Cfe+l, X^- , Cfc+2, ^Tfc+i) I Gt 

fc+1 



E 



-I3(rk + l-'rn) 



c(Cfc+l, , , Cfc+2, Yr^ ) |-^T„ ) I ^T, 



'fc+1 



E [An,n+lFz{k + 1 - n, Cn+l, I Qr^ 



De la définition de la loi conditionnelle r de passage de à sachant Ç/t-„) 

il vient: 

E [An,n+iF^{k + 1 - n,Cn+i,>Vj I Qr^] = / lPi.j;(ro > 0)F3 (/c+l-n, j, y)r ((„ , Fr„- , j, dy) , 

J(7xR 

On déduit l'existence de F4(/ + 1, ., .) définie par 

F4(/ + l,i,x)= / Pj,y(ro >0)F3(/ + l,j,y)r(i,x,j,(iy). 



Au cours de cette preuve, nous avons démontré les propriétés suivantes: 

Corollaire 3.19. Les fonctions {Fn{.,i, x))Kn<4: satisfont les relations de récurrence suiv- 
antes: 



Fi{0,i,x 
F2{l,i,x 
Fi{l,i,x 
^4(0, i, X 
Fz{l,i,x 
F/^^l, z, X 



E 



{i,x} 



l{ro>o} r e-^'f{i,Yndt 
Fi{l,j,y)r{i,x,j,dy) si /^O 



si l > 



Pj,î/(ro > 0)c{i,x,j,y)r{i,x,j,dy) 



sz / > 1 



?j,y{To > 0)Fs{l,j,y)r{i,x,j,dy) si l > 0. 
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D'où le corollaire suivant: 
Corollaire 3.20. Nous avons les égalités suivantes: 

Wl = e-'^^-XC, Vn > p.s. 

^ ^-pr^p+^^a^^^y^^^^ V n > -1 p.S. 

En particulier, Wq^ = p~^{i,x). 

Preuve: On considère la trajectoire {i,Y) à partir de notée 
p{Q,Y,,^)-) = ess supE \k{p) lèo = C^^o = 



(37) 
(38) 



Puisque l'on considère les trajectoires partant de r", de fait l'essentiel sup est pris sur 
l'ensemble {fit = «t, Vt < r"}. En utilisant l'expression (jl4p . pour de telles stratégies, 
Tn = (noté r„ ci-dessous), il vient: 



n<k<N -^^fe n<k<N 

r+oo 

+ l{r„<rjv} / e-'^'/(C7VH,>'.)c?S- 



Par ailleurs, nous pouvons utiliser les assertions (|34p et (I36p de la proposition 13.181 pour 
obtenir: 



E 



fe(M)(^)k~0 = Cn,^b=i;-l = E^"^""^2(j,Cn,i;-)- J^e-^-"F4(j,Cn,n-) 



j>0 



i>o 



+ 1 



{Tn<TJv} 



E 



r+oo 

/ e-'^7(CiVM, >^«)'is|Ço = Cn,% = Y^- 



Ensuite, en prenant j = k — n, la dernière expression peut être écrite sous la forme suivante: 
^ F2(/c - n, Cn, Y^- )-Y^F,{k-n, Cn, Y^- ) 



k>n 



k>n 



+ 1 



{'l'n<TN} 



E 



e-^'f{CN(.),Ys)ds\^o = Cn,Yo = y. 



E 



OÙ l'intégrand est détaillé comme suit 

e-f^('--)f{C„Ys) ds- A„,fc+ie-'^("'^-^")c(a, y - , Ck+uY, 

/■ + 00 

+ l{r„<.^} / e-^(^-^"^fiCNH,Ys)ds. 



n<k<N 
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L'essentiel sup étant pris sur l'ensemble {fit = «t, Vt < t"}, on obtient 



ess sup E 

{Ait=ai, Vt<T„} 



où l'on reconnaît e^'^" (définition I3.1ip . Ainsi, l'égalité (|37p est vérifiée. 

De manière analogue, nous vérifions l'égalité (|38p . pour tout n > — 1: On considère la 
trajectoire {S,, Y) qui part à droite de notée (Ç,^): 

p+(Cn+l, ^r„) = ess sup E k{fl) \io = Cn+l, % = 

Puisque l'on considère les trajectoires partant à droite de r^, de fait l'essentiel sup est pris 
sur l'ensemble {/xt = at, Vt < r"}. Pour de telles stratégies, Tn = (noté r^) et il vient: 



E 



HfJ') ko = Cn+l,Yo = Yr, 



Y, e-^^" Fi ( j, C„+i ,YrJ-Y^ e~^^- F3 ( j, Cn+i , Y^, 

j>0 j>0 



+ 1 



{Tn<TJv} 



E 



e-^'f{CNiu.),Y,)ds\^o = Cn+l,Yo = Yr^ 



La dernière égalité est obtenue en utilisant les assertions (j34p et (|36p de la proposition 
13.181 Ensuite, en prenant j = k — n, \a. dernière expression peut être écrite sous la forme 
suivante: 

fc>n k>n 



e-'''f{CN{u,),Ys)ds\C0 = Cn+l,Yo = Yr, 



TiV{aj) 



E 



e''^"k^+{fi)\Tr, 



OÙ l'intégrand est détaillé comme suit 



e-^^'---)f{C„Y,)ds- An,k+ie-^^^''-^"^ciCk,Y^-Xk+uY, 



n<k<N 



L'essentiel sup étant pris sur l'ensemble {fit = «t, Vt < t"}, on obtient 
p+ (Cn+i , J = ess sup E [e'^^" (/i) I -F^, 

{flt=at,Vt<Tn} 

OÙ l'on reconnaît e'^^" (définition I3.1ip . ■ 

D'où la remarque suivante: 

Remarque 3.21. La fonction p présente le gain moyen de la firme avant le changement 
de technologie, tandis que la fonction p+ est le gain moyen de la firme juste après le saut. 
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A la suite de J.P. Lepeltier et B. Marchai |25) . nous introduisons la définition suivante: 
Définition 3.22. Pour tout {i,x) G [/ x M, nous définissons l'application suivante: 



mp~^{i,x) : {i,x) i — ;> ess sup / v{i,x-j,dy) {-c{i,x,j,y) + p^{j,y)) ■ 

Posons, de plus, pour tout ensemble M^* ^-^ = M(^i^^^ — S(^i^x) 

m*p^{i,x) : {i,x) i — > ess sup / i^{i,x; j,dy){-c{i,x,j,y) + p^{j,y)). 
ueM* , JUxM. 

Remarques 3.23. 1. Les applications mp'^ et m*p~^ sont mesurables comme essentiel 
supremum des fonctions mesurables 



{i,x)i — > / u{i,x;j,dy) {-c{i,x,j,y) + p~^{j,y)) . 
JUxR 

2. Les applications p, mp'^ , m* p'^ , mp, m*p sont liées par les relations suivantes: 

mp^ii, x) = p~^{i, x) V m*p~^{i, x) 
mp{i, x) = p{i, x) V m*p{i, x). 

Hypothèse 2: 

(i) la P(j ,j)-loi du couple (tq, (Ç., y)l[o,To)) faiblement continue en x. 

(ii) les fonctions f et c sont continues bornées. 

(iii) Pour toute fonction / borélienne bornée, Vr € M, {i,x) i — > r{i,x;f) est continue. 

Proposition 3.24. Sous les hypothèses 1 et 2 (iii), il existe un noyau borélien r* tel que 
r*{i, X, ., .) G M(j vérifiant. 



mp'^{i,x)= r*{i,x;j,dy){-c{i,x,j,y)+p'^{j,y)). (39) 

Jf/xR 

Preuve 

1. D'après la définition de la fonction mp~^ et les propriétés de l'essentiel supremum il 
existe, V(i,x) Wn, un noyau borélien 'r'^^^^ G M tel que, 

-- + mp~^{i,x) < I r?i^){i,x;j,dy){-c{i,x;j,y)+p+{j,y)) <mp'^{i,x). 
1T' JuxR 

L'ensemble M(j j.) étant compact fermé pour la topologie faible (hypothèse 1), il existe une 
suite extraite (''(^^j,))j>0 et une mesure r^^^^-^ S ^{i,x) telles que 

\i a:)(^' ••) limite faible de la suite {t'^^ ^-^{i-, x, 

r*. ^^(i, x, ..) est une probabilité obtenue comme limite faible d'une suite extraite (^(i^^))j>0 
de probabilités de l'espace compact M^^^^y 
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2. Ensuite, appliquons le théorème 3.38 de C. Castaing |12l p. 85]: 



(i) On a la multi-application 

T,:UxR — > V{U X M) 

{i,x) — > {r(z,x, .,.), r e M} 

où V{U X M) est l'ensemble des probabilités sur [/ x R muni de la tribu T des boréliens de 
la topologie faible. C'est un ensemble complet, métrisable et séparable (et donc un espace 
Polonais). Pour prouver que graph S = {((i, x), r(z, x, ., .))} est mesurable, nous utilisons 
le lemme suivant que nous citons par souci de complétude: 

Lemme 2 p. 135]: Soient ($7,^, ^u) un espace mesuré avec fi positive finie 

et A* le prolongement de Lehesgue de A. Soient E un espace Polonais et T une multi- 
application de Çî à valeurs dans les fermés non vides de E. Alors les conditions suivantes 
sont équivalentes: 

- Pour tout X fixé dans E, la fonction lo — > d{x,T{oj)) est A* -mesurable. 

- r est de graphe mesurable, c 'est à dire son graphe appartient à A* ®B, où B est la tribu 
borélienne de E. 

Dans notre cas, (J-i),P) est un espace de probabilité complet filtré et V{U x M) est 

un espace Polonais. De plus, l'hypothèse 1 donne que S est à valeurs dans les fermés. Par 
ailleurs, d'après le théorème 2.19 [3[ p. 25], il existe un sous-ensemble dénombrable de 
fonctions continues {ipj) sur V{U x M) avec = 1 Vj, tel que 



d : X M) X P(C/ X M) — y [0,+oo[ 



H-oo 



\Pifj - Qipj\ 



i=i 

définit une métrique sur ^'([/xM) qui engendre la topologie faible. Pour tout P G V{Ux] 
définissons l'application: 

(i, x) I — > d(P, Sj = ess inf{d(P, Q),Q G Sj j,} = ess inf d(P, r(i, x, .)), 

' ' rGM 

où 

\Pipj - r{i,x,(pj)\ 



d{P,r{i,x,.))=Y^ 



21 

Sous l'hypothèse 2 (iii), Vj x i — > r{i,x,Lpj) est mesurable. Par conséquent, \/r £ M 
{i,x) I — > d{P,r{i,x, .)) est mesurable comme limite croissante de fonctions mesurables. 
Enfin, X I — 7- ess inf d(P,r(i, x, .)) est mesurable comme un essentiel infimum de fonctions 

■reAf 

mesurable. Par conséquent, d'après le lemme 2 p. 135], le graphe de S est mesurable. 

(ii) Nous utilisons le résultat suivant que nous citons par souci de complétude: 

Proposition 12.4 f23l p. 74] : Soient {X,A) un espace mesurable, Y espace sépara- 
ble métrique et f : X ^ Y une fonction mesurable. Alors, graph{f) G X x Y est aussi 
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mesurable. 

Dans notre cas, (U x M, V(U) (S" B^) est un espace mesurable, M un espace séparable 
métrique muni de la distance usuelle et l'application mp+ : U x M — > M définie dans la 
définition 13.221 est mesurable (proposition 13.23]) . Cette proposition 12.4 |23| p. 74] montre 
alors que graph{mp'^) est mesurable. 

(iii) Puisque (— c + p"*") est une fonctions bornée mesurable sur {U xRf, la fonction 
g -.U xRx V{U X M) — ^ R définie par: 

g{i,x,¥)= I {-c{i,x;j,y)+p+ {j, y)) P(j, dy) 
JUxR 

est mesurable. 

(iv) D'après le point 1 ci-dessus, V(i,x), il existe r^^^^(i,x; .) S tel que 

mp+(i,x) = / rl.{i,x;j,dy) {-c{i,x; j,y) . 
Jf/xR 

Ainsi, mp~^{i,x) G (^(î, x, x)) et V(i,x) g{i, x,T,{i, x)) Cl mp~^{i,x) ^ 0. Par suite, 
d'après le théorème 3.38 |12| p. 85], il existe une sélection mesurable de S notée r* telle 
que g{i,x,r*{i,x; ., .)) = mp~^{i,x) et le noyau r* vérifie donc l'égalité (|39p . ■ 

Pour la suite, on va utiliser une topologie plus forte que celle introduite en (jlip : 

Hypothèse 3: L'ensemble A = {r(.,— c + p"*"), r G M} est fermé et compact pour la 
topologie 

(r„(., — c + p^))n converge uniformément vers r(., — c + /o"*") sur tout compact de R. (40) 

Proposition 3.25. Sous l'hypothèse 3, 
1. V application 

XI — > I r*{i,x;j,dy) {-c{i,x,j,y)+p^{j,y)) 
JUxR 

coïncide avec l'application mp~^ , 

2. X I — > mp^{i,x) est continue sur M. 
Preuve: 

1. Pour tout X € D, où D est un ensemble dénombrable dense, d'après les propriétés de 
l'essentiel supremum il existe une suite {rn,x) G M telle que rn,x{i, x, —c{i, x, j, y)+p'^ (j, y)) 
converge vers r*{i,x,—c{i,x,j,y) + p'^{j,y))- 

L'ensemble A est fermé et compact pour la topologie définie dans l'hypothèse 3, d'où il 
existe une sous-suite (r^^.) de limite r G M telle que rn^{-, —c + p'^) converge uniformément 
vers r(., — c + p^) sur tout compact de R. 

Nous obtenons grâce à l'unicité de la limite, Vx G D, Vr G M: 

r* {i, X, -c{i, X, j, y)+p^ (j, y)) = r{i, x, -c{i, x, j, y)+p^ {j, y)) > r{i, x, -c{i, x, j, y)+p^ {j, y)). 
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Soit K un compact de M. Pour tout x G ET et r G M, introduisons ryf et rjr, les modules 
d'uniforme continuité de f et r sur K. Ensuite, il existe x„ E -D n B(x,r]r) H B(x,r]r) tel 
que, Ve > : 

r{i,x,-c{i,x,j,y) + p'^{j,y)) > r{i,Xn, -c{i,x,j,y) + p'^{j,y)) - e 

> r{i,Xn,-c{i,x,j,y) + p^{j,y)) -e 

> r{i,x,-c{i,x,j,y) + p'^{j,y)) - 2e. 

Par suite, Ve > : 

r{i,x,-c{i,x,j,y) +p^{j,y)) > r{i,x, -c{i,x, j,y) +p^{j,y)) -2e. 
Ce qui implique que, \/x £ K et \/K C M : 

r{i,x,-c{i,x,j,y) + p^{j,y)) > r{i,x,-c{i,x,j,y) + p'^{j,y)). 
Ainsi, Vx G M, 

r{i,x,-c{i,x,j,y) + p^{j,y)) = sup r{i,x, -c{i,x,j, y) +p^{j,y)) 

reAI 

où l'on reconnaît mp'^{i,x) ce qui montre 1. 

2. Les hypothèses 2 (ii) (iii) montrent la continuité de 

X ^r{i,x,-c{i,x,j,y) +p'^{j,y)), 

d'où celle de 

X ^ r*{i,x,-c{i,x,j,y) +p^{j,y)). 

m 

Proposition 3.26. Pour toute stratégie admissible a et tout n > 0, on a 

Wl = e-^-"mp+{C,Y^,^y) p.s. (41) 
De plus, pour toute stratégie a £ A et tout n >0, on a 

Preuve 

1. Il s'agit d'établir Va G A l'égalité 

e-/3-" mp+{C,Yys)-) = ess sup E(A;,.(/.)| Ç,.) p.s. (42) 

Soit une stratégie p vérifiant {pt = at, Vi < r„}, alors = r° et r((^°, Y^^a^- , ., .) G 
^{Çî?,y(,a)-}. donc l'opérateur mp+(C", ^(r-)-) vérifie: 



" mp+(C,Y(..)-)>e-^^" / r(C,y(,.)-,i,û!x)(-c(C,Y(..)-,i,x)+p+(i,a;)). 
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De plus, pour toutes ces stratégies /i on a: 

e-P< [ r(C, , i, dx){-ciC,Y^r^)- ,i,x) + p+{i, x)) 

JUxR 

Grâce à l'égalité psp . on peut remplacer e~^'^" p'^{C^_^i,Y^f^) : 

Soit encore, puisque > E(A;^+(/_f)| J^^m), pour cette stratégie /u qui vérifie {fit 

at, yt< Tn} : 

e-/3-" mp+(C,y(..)-) > E [-e-'3-c(C^y(,M)-,C+„y,M) +E(fc^+(^)| J-^m) I 

La tribu Gr„ étant une sous-tribu de J>„, V/U G {/^t = at, \/t < Tn}'- 

e-^< mp+{C,Y^,.)-) > E [-e-^--c{Cii,Y^^.y ,C+i,Y,^) + K^if^)] Qr^' _ 
Par suite, on a: 

e-^< mp+(C, > ess sup E \-e-P^-c{C, Y^,.y , C+i^YrH) + Ki (^)l 

{/it=Ot, Vt<T„} 



On en déduit donc l'inégalité 



e-^^^mp+{C,Y^,.y)>WZ. 



Inversement, soit le noyau borélien r* introduit dans la proposition 13.241 On applique 
l'expression (f39]l au point {i,x) = (Cn)^(T^)-)) il vient p. s. 



r*(C, y(..)- ; dy) (-c(C, , j, y) + p^{j, y)) 



Le noyau borélien r* est une loi conditionnelle de passage de la technologie à Cn+i 
de à Yt-„. Ainsi, il lui est associé une stratégie p* qui vérifie {pt = Oit, Vi < t„} telle 
que p. s. 

e-^-^mp+{C,yirS)') = e-^--E(^-c{C\Y^^^^^_Xi:l,,Y^f) + P^{Cli,Y^f)\G,^^^ • 
De plus, d'après l'égalité (I38p . on a p. s.: 

e-^^" mp+{Cn,Y^^) = E {-e-P^-c{Q^\Y^^^*^_,Cli^Y^ti') + ^^r^^l V, 
En appliquant l'inégalité (127p . on obtient l'inégalité: 



e-^^" mp+ (C„, ) < W!^* = ess sup E(^v„ {u) \ g,. ) . 

{!^t=/i*,t<T„} 
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Parce que /i^ = at, Vt < t„, les deux ensembles {ut = fi^,t < r„} et {vt = at,t < r„} 
coïncident. Ainsi 

ess sup E{kr„{i^)\Çr^) = ess sup E(/c^„ (z^)| Ç^^). 

{l>t=tJ.t,t<Tn} {vt=at,t<Tn} 

Par suite, 

Ainsi on obtient l'inégalité inverse et donc l'égalité ()42p . 



2. Pour tout n > 0, des égalités (|37p et (|4ip . il vient: 



Remarque 3.27. Soit l'ensemble E = {{i,x) G [7 x M : p{i,x) = mp'^{i,x)}. Alors cet 
ensemble contient l'ensemble {{i,x) G [/ x R : 3 a 3 {uj,t),Yt{oj) = x}. On verra plus tard 
que, suite à des propriétés topologiques, de fait E = U x M. 

Proposition 3.28. L'application satisfait à l'égalité suivante: 

/ rT{{i,x),.) \ 
p+{i, x) = ess sup E{,,,| / e-^'f{i, Y^) ds + e-''^«*'^)'-)mp+(f, rT-((.,.),.)) , 

T>0,TeR_-^ \Jo ) 

(43) 

où R_i est l'ensemble des applications mesurables T de (U x R x Çl,V{U) (8> B(R) (8> J^) 
dans tel que pour {i,x) G C/ x M, T{{i,x),.) est un Ç-temps d'arrêt. 

Preuve 

1. On rappelle que 

/3+(i,x)= ess sup E|j^^}(A;(//)). 

At6.4, To>0 

Soit r((î, x), .) G R_i tel que T{{i, x), .) > p. s. Pour toute stratégie p qui démarre avec 
la technologie = i et telle que Tq = T([i,x), .) > p. s., on a la suite d'égalités: 



l-T((i,x),.) p+oo 

k{p) = E{,,,| / e-^'f{i,Ynds+ / e-^-'fii,Ynds 

LJO JT({i,x),.) 

e ^yi'^ '^T-{{i,x),.y^l' '^T{{i,x),.)l ^ ^'^'^n' -^(r„)-' Wl' -^r,J 

0<T((î,x),.)<T„<r 

/.T((i,x),.) 

= %x}[-e-^^«^'^)'•)c(^,y;_((^^^)^,),Cr,r^%^^^^ e-^^f{^,Yt)ds 

D'où, en prenant l'essentiel sup sur le dernier terme 

/ rT{{i,x),.) 
P^C^-^) (-^-''^""^^•■^<^.^T-((..0,O'^''^nM,.)) + l e-^^f{^,Yt)ds + W^^^^^^. 
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D'après l'égalité ()38p prise en T{{i, x), .), nous avons: 



, -/3T((i,x),.) N\ 
^ ^ P y^l^ ^T{{i,x),.)/j 



T{{i,x),.) 

((î,x),.)'''l ' "T((i,x),.)^ + ^ 



Le processus y est Ç-adapté et T{{i,x), .) est un Ç-temps d'arrêt. D'où en conditionnant 
par la tribu Çt((î,x),.)> nous pouvons écrire: 

x) > E|,,,} [e-m(^,x),.)]E y^- Cf, >^T^((,,,),.)) + P^l^' ^T((*,x),.))l 

^T((i,x),.) 

e-''^/(i,y.)ds]. 

On considère la stratégie /i qui démarre avec = i et tq = T((i,x),.) > p. s. avec 
T{(i,x), .) G et de noyau r G M, nous avons: 

r{i, y^-((i^^) ) , j, dy){-c{i, ((j^^)^,) , j, y) + (j, y)) 

où, prenant l'essentiel sup pour r G M, on reconnaît la définition de mp~^ {i,Yj^- ^(^^^^-j^ -^) . 
Puis en passant à l'ess sup sur les T{{i,x), .) G R_i tels que T({i,x), .) > p. s. il vient: 

/ rT{{i,x),.) \ 
p+{i, x) > ess sup E{,,,| / e-f^'fii, Y^) ds + e-'3^«*'^)'-)mp+(z, yT-((i,.),.)) • 

t>o,tgr_i \Jo j 



2. D'après l'égalité (j4ip prise en n = avec a = p, déjà utilisée dans le 1. qui vérifie 
^0 = h Tq = T{{i,x), .) > p. s.: 



-/^^((^-^)-)mp+(z,y^-((,,),.)), 



d'où, 



^{i,x} 



T{{i,x),.) 



E 



{i,x} 



T((i,x),.) 



T((i,x),.) 



Par définition du gain maximal conditionnel, nous avons, pour la stratégie p qui démarre 
avec = i et tq = T{{i, x), .) > p. s.: 



E 



{i,x} 



T{{i,x),.) 



L'expression k{p) — kx((i^x),.)if^) étant 3,) -j-mesurable, nous avons 

%x} [^(m) - kT({i,x),.){f^) +Hkrp^ii,x),.){fJ-)\ OT{{i,x),.)]] = ^{i,x}{Hf^))- 
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D'où, pour toute stratégie /x qui démarre avec = i et tq = T{{i, x), .) > p. s. : 

rT{ii,x),.) 



( e-^'f{i,Ys)ds + 1 > E|i,,}(A;(/.)). 



Par définition de l'ess sup (cf. |31|). il en suit: 

/ rT{ii,x),.) \ 
%x} / e-^'f{i, Ys) ds + W^,,. . ]> ess sup E|,,,}(/c(^)) = p+{i, x). 

\Jo ' '''' J fieA,T^>o 

D'où l'égalité (gS]). H 

Par suite, nous pouvons exprimer le critère d'optimalité établi dans le théorème 13.161 
à l'aide de l'application qui, grâce à la proposition 13.281 est indépendante de toute 
stratégie admissible. 

Théorème 3.29. Pour toute stratégie admissible a = (ro,r), nous avons les inégalités 
suivantes p. s.: 

Pour tout n > 0, 

mp+(Cn,i;-) > / r{Cn,Y^-,j,dy)(-c{Cn,Y^-,j,y)+p+{j,y)). (44) 
Pour tout n > — 1, 

e-^^'V+(Cn+i,^rJ > %„+„y.,J {^jy e-^'fiCn+i.Ys) ds + e-P^-+^mp+{Cn+uY^-^j^ ■ 

(45) 

En particulier, pour n = — 1 il vient: 

p+{i,x) > E{,,,} 1^1^' e-^'f{i,Ys) ds + e-^^°mp+{i,Y^-)^ . (46) 

De plus, a est optimale si et seulement si l'égalité a lieu simultanément dans ^44\ ) Ii4^ - 

Preuve: L'inégalité (|44p . pour tout n > 0, est tirée de l'inégalité (j27p du théorème 13.161 
en remplaçant par e~f^'^" mp'^{Cn,Y^-) (égalité ([¥T]) ) et W^^ par e~^'^"p+(Cn+i, ^t„) 
(égalité ([É])). " 

Puis, pour tout n > — 1, l'inégalité (145p s'obtient immédiatement à partir de l'inégalité (|28l) 

en remplaçant W!j^^ par e~^'^"p+(Cn+i, ^t„) (égalité ([38])) et W!j^^_^_^ par e~'^'^"+^ mp'^{(n+i,Y^- ] 

(égalité gH))- 



Ensuite, supposons que la stratégie a est optimale : dans ce cas, les égalités (j29|l . (l27p 
et (j28p du théorème 13. 161 sont vérifiées . Ce qui entraîne que (j44p et (|45|) sont des égalités. 
L'égalité (I46p c'est exactement l'égalité (l45l) en n = — 1. 



Inversement, supposons que les inégalités (j44p et (j45p sont des égalités. 

L'égalité (I27p s'obtient, pour tout n > 0, de l'égalité (|44p en remplaçant e~^'^" mp'^{Cn, Y^- ) 
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par W^^ (égalité (gH)) et e-^^"p+(C„+i, ^rj par W^^ (égalité 

Quant à l'égalité (j28p . elle est tirée, pour tout n > — 1, de l'égalité (|45p en remplaçant 
e-^""/9+(Cn+i,yrJ par (égalité dMD) et e'^^^+i m/5+(C„,+i, F- ) par W?.^ (égalité 

(BU))- 

Par suite les égalités (|27p et (|28p donc ()29p sont vérifiées. Ainsi, d'après le théorème 
I3.16| la stratégie a est optimale. 

H 

4 Une stratégie optimale 

De la remarque 13.231 2. il vient: 

mp^{i, x) = p'^{i, x) V m*p'^{i, x) 

et sur l'ensemble 

E = {{i,x) €U xM., p{i,x) = mp'^{i,x)}, 

nous obtenons: 

p{i, x) = p~^{i, x) V m*p~^{i, x). 
On en déduit que p{i,x) > m*p'^{i,x), pour tout {i,x) € E. 

Définition 4.1. Nous appelons ensemble optimal de continuation le sous-ensemble deU x 
M; 

C = {{i,x) G E : p{i,x) > m*p~^{i,x)^. 

Supposons que (i, x) € C, il n'est pas intéressant de changer de stratégie à cet instant. 
En effet p{i,x), le meilleur gain en partant de x est strictement supérieur au meilleur gain 
quand on réalise au moins un changement. Il faut donc laisser le système évoluer librement, 
on voit que le premier instant de changement de technologie est celui où le système atteint 
la frontière de C. 

Nous noterons par I son complémentaire dans E qui est l'ensemble d'impulsion. Il 
est défini comme suit: 

/ = {{i,x) £ E : p{i,x) = m* p~^{i,x)}. 

Notons que E = Cul. 

Pour construire la suite de temps d'impulsion, on introduit le temps suivant: 
Définition 4.2. Nous définissons le temps: 

T*i(^,x),.) = {^-'^'>'■■.f''^^lp■ 

[ +00 sî l ensemble est vide. 
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Proposition 4.3. Sous les hypothèses 2, la fonction p'^ est semi-continue inférieurement 
(s. ci). 

Preuve: De la proposition I3.18( la fonction p"*" peut être écrite sous la forme suivante: 



ess sup 



ess sup 



^Fi{l,i,x)-^F3{l,i,x)+Ei^, 

l>0 l>0 



+00 



e-^'f{CNiu),Ys)ds 



'rjV(t^) 



l>0 



e-^'f{CN(.).ys)ds 



(i) Tout d'abord, prouvons la continuité de la fonction x 1 — > Ej^^ [ f^^^ e f{CN(Lu)^'ys)ds 



D'une part, cette fonction peut être écrite sous la forme suivante: 



E,, 



e-^'f{CNi.),Ys)ds 



^iV(^) 



k>0 



La fonction / étant bornée positive (hypothèse 2 (ii)), la dernière expression peut être 
majorée par: 



E,; 



/■+00 1 r /■+ 

/ e-^'f{C^(^^),Ys)dsl^^^k} <^i,x / 



Sur l'ensemble {N = k}, tj-i < Tj \/j < k, nous obtenons ainsi > k. D'où, 



E, 



e ^"f{CN{u;),ys)ds l{N=k} 



< 



-13k 



OÙ ll/llooC est une série à termes positives convergente. 

D'autre part, rappelons que le processus Y est un processus de Markov homogène qui 
peut être écrit sous la forme suivante: 



Yt = Yr, + fmu, Yu)du + a Yu)dWu) ■ 



La fonction x 1 — > E,- 



J+^e-^'fiCN^^),Y,)ds 



est égale à: 



E 



E 



e-^'f{CNH,Yr,+ / mu,Yu)du + a{Cu,Yu)dWu))dsl{N=k} 

Tk ■J'I'k 



T 



Notons que la loi de la fonction 



XI — > E 



p-\-00 PS 

/ e-'^7(C7V(c.), ^r, + / mu,Yu)du + a Y^)dWu))ds 1 

■JTk JTk 



{N=k} 



38 



est une fonction mesurable en et Yr,,-. Ensuite, en utilisant l'assertion ([9]) et la définition 
12.111 2. nous constatons que la loi de (Çs,5^s) |('Ço = = x) est égale à: 

k 

Yl loi de iChYnlJ'n.-,) x loi de iCo,Yro)\{i,x), 

i=l 

elle même égale à HLi {Ci,YrJ\{Ci- ,Y^-) x loi de {^o,Yro)\{i,x). 

i 

Sous l'hypothèse 2 (i) et la définition 12.111 1^^ loi produit ci-dessus est continue en x. 
Enfin, la fonction x i — > Ki^x[ f^^^ ^ fiCN(uj)jYs)ds] est continue. 

(ii) Ensuite, il suffit de prouver que Fi et F-^ sont continues et qu'il existe une série 
réelle (ei) à termes positifs convergente telle que VZ, Vx, 

\Fi{l,i,x)-F3{l + l,i,x)\ <ei. 

Procédons par récurrence pour montrer que la fonction Fi{l,i,x) est majorée par: 



\Fi{l,i,x)\ < 
Pour 1 = 0, nous avons: 

Fi{0,i,x)=Ki 



oo l Il^lj^a;! 



4n)>0} 



-13 TQ 



(47) 



e-'''f{i,Yf)dt 



De l'hypothèse 2 (ii), la fonction / étant bornée positive, x i— s- Fi{0,i,x) est majorée par: 

\Flil,i,x)\ <Fi,:.(To >0)||/||oo < ll/lloo. 

Supposons que l'hypothèse de récurrence (|47p est vraie jusqu'à / — 1 et montrons qu'elle 
est vraie à l'ordre /. Pour Z > 0, 



\Fi{l,i,x) 



E 



{i,x} 



'-{ro>0}f 



-/3ro 



UxR 



Fi{l-lJ,y)r{i,Y^^^,j,dy) 



l{ro>o}e-^^" 



l{ro>o}e-^^° 



l-l 



Er 



l{ro>o}e-^^° 



Ainsi l'hypothèse de récurrence est vérifiée VL 

Procédons d'une manière analogue pour prouver que F^[l + 1,2,3;) est majorée par 



|F3(/ + l,i,x)\ < ||c||oo [K{i,x} 
Pour / = 0, du corollaire 13.191 nous avons: 



(48) 



F3(l,i,x) = Ej,^ 



l{ro>o}e-^^» 



f/xl 



j,(to > 0)c(i, y?L , j, y)r (i, y;_ , j, dy) 
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De l'hypothèse 2 (ii), la fonction c est bornée, la fonction ^3(1,2,2;) est donc majorée par 

\F3{l,i,x)\ < ||c||ooIE{i,;r} 



Supposons que l'hypothèse de récurrence (j48p est vraie jusqu'à / et montrons qu'elle est 
vraie à l'ordre l + l. Pour / > 1, 



1^3^ + 1,^,^)1 = 



hro>o}e-^^" / Fs{l,j,y)r{i,Y-^,j,dy) 

JUxR 



< E 



{i,x} 



\c\\oo [^{i,x} 



00 (llïlija;} 



l+l 



Ainsi l'hypothèse de récurrence est vérifiée V/. Par suite, nous obtenons, V/, 



\Fiil,i,x)- Fsil,i,x)\ < 



00 ~l~ ||c||oo) ( 



l{ro>o}e-^^° 



où El = (ll/lloo + ||c||oo) {^{i,x} [-'-{ro>o}S~^^''] ) ^^t Une séric à termes positifs convergente 
car lEji^x} [l{ro>o}fi~'^^°] < 1- En effet, si ^{i^x} [^{to>o}^~^'^"] — 1, nous obtenons tq = 
et lro>o = 1, ce qui est contradictoire. 

(iii) Enfin, il nous reste à prouver que Fi et -F3 sont continues V/ : 
Pour / = 0, nous avons: 



Fi{0,i,x)=Ei 



l{ro>o} / e~'''f{i,x + b{i)t + a{i)Wt)dt 



De l'hypothèse 2 (ii), la fonction / étant bornée positive, x 1— t- Fi{0,i,x) est continue. 
Pour / > 0, la fonction Fi{l,i,x) peut être écrite sous la forme suivante: 



Fi{l,i,x) = I e 
10 



-13s 



Fi{l - l,j,y)r{i,x + b{i)s + a{i)Ws;j,dy) (dsli, x). 



Uxî 



L'hypothèse 2 (i) (iii) montre la continuité de la fonction x 1— )• Fi{l,i,x), V/. 
De même, pour Z = 1, la fonction x 1— î- F3{l,i,x) est donnée par: 



H- 00 



-fis 



,-,j;(ro > 0)c(i, X + b{i)s + a{i)Ws,j, y)r{i,x + b{i)s + <7{i)WsJ,dy) Proids\i,x), 



elle est est continue car, d'après l'hypothèse 2 (ii), x 1— )• c(i,x,..) est bornée continue et 
X I— >• r(z, x; ., .) est continue. 
Pour / > 1, 



F3{l,i,x) = I e 



-13s 



F3{l-l,j,y)r{i,x + b{i)s + a{i)Ws,j,dy) P,„(dskx). 



Uxî 



Ainsi, l'hypothèse 2(i) (iii) induit la continuité de la fonction x 1— )• F3{l,i,x), VL 
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Remarque 4.4. On peut montrer par une preuve analogue que la fonction p est elle aussi 
s emi- continue inférieurement. Rappelant que mp^ est continue (proposition \3. 23\) p—mp^ 
est semi- continue inférieurement et l'ensemble E est un fermé c/e [/ x M. La remarque \3.27\ 
dit qu'il contient l'ensemble {{i,x) £ U xM. : 3 a3 {uj,t),Yt{uj) = x}: par continuité, il 
contient aussi tout {i, x) de U x M, d'où l'égalité partout p = mp'^ . 

Corollaire 4.5. Sous les hypothèses 1, 2 et 3, l'ensemble I est fermé et C est ouvert. 

Preuve: La proposition 13. 251 donne que la fonction mp"*" est continue donc la fonction p est 
continue. Ensuite, la fonction m*p~^ est semi-continue inférieurement comme supremum de 
fonction semi-continue inférieurement. D'où, {p — m* p^) est semi-continue inférieurement 
ce qui montre que I est fermé et C est ouvert. ■ 

Cette propriété topologique des ensembles / et C permet de montrer le lemme suivant: 

Lemme 4.6. \/u) £ Çl, T*{{i,x),uj) > si et seulement si {i,x) £ C. C'est à dire en 
d'autres termes que {i,x) £ I si et seulement si T*{(i,x),uj) = 0. 

Preuve: Supposons que T*((i, x), w) > 0. T*((i, x), w) est le temps de sortie d'un processus 
continu (donc continu à gauche) et adapté de l'ouvert C. Par conséquent, (Çt(w), £ 
C, Vt £ [0,T*{{i,x),uj)[, en particulier {i,x) £ C. 



Inversement, soit {i,x) £ C. Il existe une suite de temps d'arrêt {Tn{{i,x), .))„ qui décroît 
vers T*{{i,x),.) telle que, Vw £ U, {CT„{{i,x),uj),YTn{{i,x),uj)) £ I- L'ensemble / étant fermé, 

{ÎT*a^,x),u),yT'ii^,x),^)) G /• Or / H C = 0, d'où T*{ii,x),Uj) > 0. 



Lemme 4.7. 1. T* vérifie pour toute loi v sur ([/ x M x Çl,V{U) x x F): 

{^T'-({^,x),.).yT'-{(i,x),.))^I ^p-s- (49) 

2. T* est une application mesurable de (U xM.x Q,V{U) x x T) dans (M+,;Bk_|_) 
telle que pour tout {i,x), T*{{i,x), .) est un Q-temps d'arrêt. 

3. Pour tout {i,x) £ C: 

(fT*{{i x) ) \ 
' " e-^V(i,^.)<is + e-''^*"*'"^'-)mp+(i,yT.-((^,x),.))J • (50) 

Preuve 

1. Le temps T*({i, x), .) est le temps d'entrée du processus continu {i, Y^'^) dans le borélien 
fermé /. Ainsi, par continuité et définition du temps d'entrée, {h'yx*{{i x) )) ^ ^ presque 
sûrement. Ce temps sera un temps de saut, mais avant le saut le processus continu coïncide 
avec sa limite à gauche, d'où pour toute loi u sur([/ x M x Çl,V{U) x B^ x T): 

(ÇT*-({i,x),.),^T-((i,x),.)) Ï^P-S- 

D'où l'égalité (j49p est vérifiée. 
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2. Soient Ù = UxRxnetÇt= V{U) x % x Qt. Pour tout cD G jî, notons Xt{ùj) = 
{^i- {u) ^Y^f' {oj)) . D'après 1, le temps T* peut être écrit sous la forme suivante: 

T*{Cj) = mi{t,Xt{Ùj) G /}. 

Le processus X étant continu et adapté, il est optionnel pour la filtration Q (cf. proposition 
1.24 de [191 p. 6]). De plus, le temps T* est le temps d'entrée de Xt dans l'ensemble borélien 
/. D'où, c'est un temps optionnel et par suite, c'est un Ç-temps d'arrêt (cf. corollaire 2.4 
de [22l p. 6] ). Par conséquent. 



{cùGÔ: {r*(w) > t}} gP([/) X X Çt. 



Ce qui entraîne que T* est une application mesurable sur ([/ x M x Q,V{U) x B^. x Qt). 
Il reste à prouver que pour tout {i,x) fixé, T*{{i,x), .) est un Ç-temps d'arrêt. 
D'après 1, le temps T* peut être écrit sous la forme suivante: 

T*{{i,x),oj) = mî{t,Xt{{i,x),u) G /}. 

Le processus X étant continu et adapté, il est optionnel pour la filtration Ç. De plus, le 
temps T* est le temps d'entrée de Xt dans l'ensemble borélien /. D'où, c'est un temps 
optionnel et par suite, c'est un Ç-temps d'arrêt. Par conséquent, pour {i,x) fixé, nous 
obtenons: 

{w G Î7 : T*{{i,x),uj) > t} G Qt- P-s. 

3. Soit {i,x) G C, alors T*{{i,x), .) est un Ç-temps d'arrêt strictement positif appartenant 
à R_i. D'où, d'après la proposition I3.28[ 

p+(i,x) >E{,,,| ^£ "''''^"^-''7(i,^.)ds + e-^^*«^'-)'-)mp+(i,yr*-(M,.))j • 
Pour toute stratégie fj, G A telle que Tq = T*{{i,x), .), utilisant l'égalité (j4ip il vient: 



T*((i,x),.) I • 

Par définition du gain maximal conditionnel, nous avons, pour toute stratégie /i qui démarre 
'O 



avec = i et Tq = T*{{i, x), .) > 0, 



/ rT'ai,x),.) \ 







+ HkT*{ii,x),.)ifJ-)\ OT*iii,x),.)])- 
L'expression k{fi) — ^T*((i,x),.)(^) étant ^^^.((j .j,) -j-mesurable, nous avons 

(^(/^) - kT*{{i,x),.)(.f^) +'^[kT*({i,x),.){fJ')\ GT*{{i,x),.)]) = E{i,x}(^(M))- 
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D'où, pour toute stratégie /i qui démarre avec = i et tq = T*{{i,x), .) > 0, nous avons 

Par définition de l'ess sup (cf. [31|). il en suit: 

/ /.T*((i,x),.) \ 

%x} ( e-^'f{i,Y,)ds + H^^* 1 > ess sup^E{,,,}(/c(/i)) = p+{i,x), 

d'où l'égalité. Ce qui entraîne (|50p . ■ 
Définition 4.8. Posons 



{i,x} P-s: 



T*{{i,x),.) SI T*{{i,x),.)>0 
+00 siT*{{i,x),.) = 0. 



En tq, la loi du couple sachant Çf^, est donnée par r*{S^Q,Y^- , ., .). 

On note N{uj) = inf{n, T*(((^„4.i, If^), .) = 0}. Sur l'ensemble {a;,A^(a;) < oo}, nous 
avons Tfc = T7v(a;)i ^ N{uj) et à partir de cet instant la politique proposée est de 
continuer sans plus d'impulsion, car on est en un point où T*((^fc, 1" - ) = 0. 

k 

Rappelons que la suite de la stratégie après tq est entièrement définie par la construction 
explicitée par la définition 12.111 

Théorème 4.9. Sous les hypothèses 1, 2 et 3, la famille a = (To,r*) définie par la défini- 
tion \4.^ est une stratégie admissible optimale vérifiant la propriété suivante: 

P(Tf < T° < +00, Vn) = 0, (51) 

c'est à dire que soit r = +oo et dans ce cas la suite (t„) est strictement croissante, soit il 
existe une v.a. à valeurs entières N telle que Tt = t^[uj), V/c > N{uj). 

Preuve 

1. Remarquons que Q = H L) S où 

H = nn{T*{{Cn+l,YrJ,.)>0} et S = Un {T* {{Cn,YfJ , .) = 0} . 

Sur l'ensemble H, la suite (r„) est strictement croissante. Sinon, sur l'ensemble complé- 
mentaire S, nous avons l'existence de N(oj) tel que ffc = ffc-|_i, Vfe > N{uj), et à partir 
de cet instant, la suite (r„) s'arrête et nous continuons sans plus d'impulsion, c'est à dire 
exactement (|5T]) . Ainsi, grâce à la construction explicitée par la définition 12 . 1 1 1 de la famille 
a, nous avons bien une stratégie admissible . 

2. Du théorème 13.291 nous sommes ramenés à établir que la stratégie a satisfait les égalités 
(gH) et JM]) pour tout (i, x) £ U x R: 
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i/ Sous les hypothèses 1 et 2(iii), l'égahté (j39p de la proposition 13.24] prise au point 
(Cn,^f-) implique: 

mp+{Qn,Y^-)= ! r*{Cn,Y^-;j,dy) f-c{Cn,Y^ j,y) + p+ {j,y)) . 

JuxR n V " / 

D'où l'égalité (j44p est obtenue. 



ii/ La partie droite de l'inégalité (|35|) se décompose selon la somme suivante: 



E 



Tn + 1 



e-^^f{Cn+i,Y,)ds + e-^^-^^mp+iCn+uY^-)j l{f„+i>fj 

e-'^7(Cn+l,^.)f^sJ l{f„+i=+oo} 



D'après la définition [MU la loi du couple (f„+i-fn, (Cn+i^ sachant (Cn+i) ^fn) 

est égale à la P|i^3.}-loi du couple (T*((i, x), .), (î, Y;)l[o,r*({j,x),.)[) prise en i = Cn+i,x = 
Par suite, l'expression précédente est égale à 



E 



{Cn + 1,>?„} 



Tn+1 



e-^V(Cn+i, ds + e~^^-+-'mp+{Cn+i,Y^- 



D'après le lemme HTïïl T*(^.„+i, i^^) > équivaut à If^) G C. Sur cet événe- 

ment, d'après l'égalité (|50p du lemme 14.71 le premier terme ci-dessus est exactement 
l(T*(ç„+i,yy )>o)e~^^"p'^{Cn+i,Yr„) puisque (Cn+i,^f„) e C et l'événement (r*(Cn+i, ^f„) > 

Concernant le second terme, T*{(^n+i,Yf^) = entraine r = tVj: l'intégrand est exacte- 
ment e~^'^k^ d'où le second terme est l(r*(ç„+i,yp )=o)^~'^^"P''~(Cn+i5 
La somme des deux termes est ainsi l'espérance 

%n+i,l^„}[e"'''V+(Cn+l,lfJ] 

c'est à dire l'égalité (|45p . 

Ainsi, les égalités (j44|l et (I45p sont vérifiées pour tout {i, x) ce qui conclut l'optimalité de 
la statégie proposée. H 
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Exemple 4.10. Nous donnons un exemple qui satisfait les hypothèses suffisantes de l'existence 
d'une solution optimale. L'ensemble U des technologies possibles est restreint à {0,1} où 
est l'ancienne technologie et 1 est la nouvelle technologie. Le processus Y représentant 
le log de la valeur de la firme est un modèle de Black-Scholes satisfaisant: 

dYt = b{it)dt + a{it)dWt, 

où indique la technologie au temps t. 

Nous supposons que 6(1) > 6(0) et (t(1) > it(0). Le profit net de la firme est donné par 
f{i,x) = Arctg x + ^ et le coût de changement de technologie est égale à 

1 

c{i, x,l-t,y) = l- —— r^. 

1 + (y - xy 

Les lois conditionnelles des sauts {Cn+i, ^n) sachant sont r((^n, •> •) où r appartient 
à l'ensemble des probabilités de transition suivant: 

M(^i^^) = |r(z, j;; 1 - i,dy) = pij (g)Af{x + m, l)dy; \pij] = ^ ) '"^ ^ [m,m]|u{5i,a;}- 

Le paramètre m appartenant à un compact, les hypothèses 1 et 3 sont vérifiées dans cet 
exemple. De plus, les lois conditionnelles r introduites ci-dessus sont continues en x. Elles 
satisfont donc l'hypothèse 2 (i) et (iii). 

Les fonctions f et c étant bornées continues, l'hypothèse 2 (ii) est vérifiée. 



5 Comparaison d'hypothèses 

Dans cette section, nous donnons une comparaison entre les hypothèses et définitions util- 
isées tout au long de ce chapitre et celles utilisées par J.P. Lepeltier et B. Marchai (|251I26|). 
L'hypothèse 1 [261 p. 48] permet à J.P. Lepeltier et B. Marchai de restreindre leur modèle 
à la famille des lois markoviennes stationnaires. 

Nous nous plaçons dans le même cadre en définissant les stratégies admissibles avec des 
lois de passage r indépendantes de n. 

L'hypothèse 2 |25| p. 655] impose que V (î,x)M(j .j;) est faiblement relativement com- 
pact. Nous renforçons cette hypothèse en supposant que l'ensemble des probabilités de 
transition M(j ,j,) est fermé et compact pour la topologie faible (notre hypothèse 1). De 
plus, nous supposons que l'ensemble A = {r(., — c + p''~),r E M} est fermé et compact pour 
la topologie définie par (1401) (notre hypothèse 3). 

L'hypothèse 3 |25| p. 662] impose que l'application m*p~^ soit semi-continue supérieure- 
ment sur les noyaux d'arrêt. Dans notre cas, notre hypothèse 2(iii) ( x — > v^ijXif) est 
continue Vi G U,\/iy € M, V/ G Bf,) permet de montrer que l'application m*p~^ est semi- 
continue inférieurement comme supremum de fonctions s. ci. 

L'hypothèse 4 |25i p. 662] suppose que (i, x) G /, l'application 

r(i,x, .,.)i — > / r{i,x,j,dy){-c{i,x,j,y)+p^{j,y)) 
JUxR 
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atteint son minimum sur M^^_^y Quant à nous, cette propriété résulte de nos hypothèses 
1 et 2 V(i,x) et nous avons tenu à en préciser la preuve en faisant appel à des résultats 
anciens sur les sélections mesurables dans notre proposition 13.241 De plus, notre hypothèse 
3 assure la continuité de l'application précédente. 

J.P. Lepeltier et B. Marchai imposent les hypothèses 5 et 6 ( |25l p. 72]) pour éliminer 
toute possibilité d'effectuer deux impulsions simultanées et elles s'énoncent comme suit: 

Hypothèse 5 : pour tout noyaux borélien ri et r2 de M*, il existe un noyau borélien 
r & M vérifiant: 



r{ii,xi;d{i-s,xs)) = / ri{ii,xi;d{i2,X2))r2{i2,X2;d{i3,X3)). 
JUxR 

Hypothèse 6: Pour tout (i, x) £ U xM, tout € M^. ^-^ et (j, y) € [/ x M, on a l'inégalité 
suivante: 

/ i^{d{w,z)){c{i,x,w,z) + c{w,z,j,y)) > c{i,x,j,y). 
JuxR 

Ces deux hypothèses présentent une restriction de l'ensemble des stratégies. Dans notre 
modèle, notre définition 12.111 impose deux propriétés qui restreignent à leur tour l'ensemble 
des stratégies admissibles: la première assure l'intégrabilité des fonctions f et c tandis que 
la deuxième suppose que la loi entre deux sauts est donnée par la loi du couple initial et 
assure des propriétés de continuité qui permettent d'éviter ces hypothèses 5 et 6 de |26| . 
Ces hypothèses 5 et 6 nous ont paru difficiles à vérifier dans un cadre concret: elles re- 
streignent l'ensemble des probabilités de transition et placent le modèle dans un cadre 
étroit. Nous avons jugé plus réaliste de placer notre modèle markovien sous les propriétés 
mentionnées dans la définition 12.111 De plus, nos hypothèses 1 et 2 et le théorème de 
sélection mesurable |12| p. 85] ont permis de prouver l'existence d'un noyau borélien r* 
réalisant le supremum de l'application mp, mais aussi de donner les propriétés topologiques 
des ensembles C et / de continuation et d'impulsion. 

L'hypothèse 7 |25l p. 663] indique que le coilt de changement d'état est minoré. Cette 
propriété a été utilisée par les deux auteurs pour prouver l'admissibilité de la stratégie 
optimale. 

Enfin, dans la thèse de J.P. Lepeltier et B. Marchai |26| . les fonctions f et c sont boréliennes 
positives, fonctions de coûts qui amènent donc à une minimisation de valeurs positives. 
Puisque nous cherchons une optimisation d'une différence de valeurs positives, nous avons 
supposé ces deux fonctions continues bornées (Hypothèse 2 (ii)). 

L'hypothèse 2 (i) suppose que la loi du couple (ro,(i,y)) sachant {i,x) est faiblement 
continue. Cette hypothèse plus l'hypothèse 2(iii) ont contribué à montrer que les fonctions 
p et p'^ sont semi-continues inférieurement. Par conséquent, nous obtenons des propriétés 
topologiques sur l'ensemble d'impulsion / pour s'assurer qu'aux instants d'impulsion t„ le 
processus (Ç - , y - ) G /. 
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6 Conclusion 



Dans ce chapitre, nous considérons le problème du contrôle impulsionnel comme une suite 
de changements d'état et nous montrons l'existence d'une solution optimale pour ce prob- 
lème en utilisant une approche markovienne. Nous retrouvons dans un modèle constructif 
les résultats de J.P. Lepeltier et B. Marchai (\26\ I27|) en utilisant des outils différents. Au 
lieu de leur construction canonique, nous construisons trajectoriellement le processus de 
l'évolution du système impulsé. 

Dans le prochain chapitre, nous utiliserons des exemples concrets pour présenter une 
solution optimale. Ainsi, on devrait être en mesure d'appliquer concrètement ces résul- 
tats. Dans un cas particulier (instants d'impulsion à intervalles réguliers et déterministes, 
changement de technologie de l'ancienne à la nouvelle ou de la nouvelle vers l'ancienne), 
nous trouverons une loi de saut optimale. Nous constaterons que si l'on inclut les coûts 
de changement de technologie, il est préférable de sauter avec les précautions nécessaires 
pour réaliser plus de profit: ainsi, plus le saut est petit, plus le profit est élevé. 
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